今日头条图片爬取
需要额外安装requests,pymongo等库,自行查找安装。pip源下载不下来可以使用阿里源等国内的pip源
使用过于频繁可能会被网页限制,浏览器能成功请求了之后更换相应的头信息即可。
日后考虑优化添加ip池,防止被封禁ip
./Chrome -remote-debugging-port=9222
chrome浏览器需要这么启动才能尽可能的避免被淘宝查出是机器操作。这样就不能使用无头部浏览器方式使用了
淘宝登录破解:使用get_cookies,浏览器启动之后在30秒内手机淘宝扫描登录(因为输入用户名密码无法通过下方的拉取控件检测),生成cookie文件,然后搭配taobao.py使用