✨ 专业的抖音数据采集解决方案,支持笔记爬取,保存格式为excel或者media
- ✅ 多维度数据采集
- 用户主页信息
- 笔记详细内容
- 智能搜索结果抓取
- 🚀 高性能架构
- 自动重试机制
- 🔒 安全稳定
- 抖音最新API适配
- 异常处理机制
- proxy代理
- 🎨 便捷管理
- 结构化目录存储
- 格式化输出(JSON/EXCEL/MEDIA)
- Python 3.7+
- Node.js 18+
pip install -r requirements.txt
npm install
这里以小红书的cookie获取为例
注意.env文件有两个变量,一个是打开www.douyin.com这个域名获取的,另一个是打开live.douyin.com这个域名获取的,第一个用于爬虫,第二个用于直播间监听
配置文件在项目根目录.env文件中,将下图自己的登录cookie放入其中,cookie获取➡️在浏览器f12打开控制台,点击网络,点击fetch,找一个接口点开
复制cookie到.env文件中(注意!登录抖音后的cookie才是有效的,不登陆没有用)
python main.py
python dy_live/server.py
- main.py中的代码是爬虫的入口,可以根据自己的需求进行修改
- dy_apis/douyin_apis.py 中的代码包含了所有的api接口,可以根据自己的需求进行修改
- dy_live/server.py 中的代码包含了直播间监听的接口,可以根据自己的需求进行修改
| 日期 | 说明 |
|---|---|
| 23/10/05 | - 项目完成。 |
| 23/10/17 | - 首次提交。 |
| 23/10/18 | - 监听直播间弹幕和礼物。 |
| 23/10/21 | - 新增搜索智能排序和限制时间。 |
| 23/10/21 | - 新增可视化界面到release v1.1.0。 |
| 23/10/25 | - 新增issue提出的输出直播间消息时包括用户等级。 |
| 23/10/28 | - 遇到验证码请手动点击!Fix Some Bugs。 |
| 23/11/11 | - 修复了很多很多大家的bug~~,关于v.dy格式的url正在处理 |
| 23/12/22 | - 修复了直播间监控 |
| 25/06/07 | - 开放所有之前闭源的代码,包括数据爬取和直播间监听 |
- 感谢star⭐和follow📰!不时更新
- 作者的联系方式在主页里,有问题可以随时联系我
- 可以关注下作者的其他项目,欢迎 PR 和 issue
- 感谢赞助!如果此项目对您有帮助,请作者喝一杯奶茶~~ (开心一整天😊😊)
- thank you~~~