爬取虎牙直播数据1
利用爬虫工具爬取虎牙直播数据
打开虎牙https://www.huya.com/l按下F12了解网站基本信息，思考一下所要抓取的内容
选中network刷新一下页面找到一个page=的链接我这里抓取的是第三页的数据所以等号后面为page=3
https://www.huya.com/cache.php?m=LiveList&do=getLiveListByPage&tagAll=0&page=3
点击一下上图那个蓝色区域就会出现上面这个链接，这个就是要抓取数据的网址如下图所示
有了思路之后就开始进行数据抓取
先导入所需要的包
然后创建一个链接和伪装头
利用requests库创建个get请求，再用json解析
下面开始抓取自己需要数据
抓取数据要先进一个大标签data然后在逐步
利用for循环开始抓取需要的内容如下图所示
之后运行即可，为拉防止ip被禁我们给它设置一个停留时间
然后运行即可（下图所示）
版权声明：本文为hejingzi原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。