web端:阿里巴巴电商平台直播间主播带货数据抓取!!!
声明:本作品不可用于任何商业途径,仅供学习交流!!!
分析:
进入阿里巴巴电商直播的网页>打开浏览器的抓包工具>点击正在直播板块下的(查看更多),进行抓包、分析:
分析json数据请求参数headers,处理该请求的反爬策略:
最后就是在编码工具多次测试等操作,实现项目工程代码:
下面是代码部分(本文只抓取3页的数据,并且把数据保存在redis数据库里面):
发起请求,提取可以被json.loads()可以读取处理的数据:
提取、处理数据:
把数据 保存在redis数据库里面(因为直播间数据和直播带货商品数据不方便放在同一个csv文件里面)
工程控制函数:
ok,下面是跑这个工程的效果:
这个是保存在redis数据库里面的字典形式的数据(测试工程代码的图):
下面是该工程的最终成果(为了打印的展示数据好看点,没有展示太多主播带货的商品数据):
这是redis数据库:
2021.5.5 更新:(给工程加入代理ip,对爬虫工程伪装)
获取优质可用免费代理ip的函数:
给发起请求的函数使用代理ip:
工程控制函数和跑该工程的效果:
声明:本作品不可用于任何商业途径,仅供学习交流!!!