通过Fiddler实现爬取西瓜视频
内容原创,未经允许,不得转载
工具:Fiddler,一部手机
Fiddler作用:通过代理设置,使手机直接访问资源变为通过代理服务器获取,所有请求在代理服务器都可以检测到,然后就可以更方便的分析爬取内容。
第一步:下载安装Fiddler
第二步:设置Fiddler
第三步:生成app使用的安全证书,并在app安装
访问localhost:8033
点击FddlerRoot certificate,下载安全证书
把这个安全证书放到手机上,然后安装
第四步:设置手机wifi
windows上cmd下运行命令,ipconfig
手机:
保存之后,记得先重启一下Fiddler,不然配置不生效。
第五步:打开手机上的西瓜视频
西瓜视频推荐视频每页返回三条数据,每个视频分为360p,480p和720p,所有数据都在data下边,接下来就是使用程序解析。慎重考虑,不开放源码。