一.  下载地址:https://www.screamingfrog.co.uk/seo-spider/

二.  使用教程

链接1: https://blog.csdn.net/a055350/article/details/103325531

链接2:https://cloud.tencent.com/developer/news/485392

抓取方式1:

默认的“蜘蛛”模式将对网站进行爬网,即“列表”,可让您上载要爬网的URL列表。

您可以通过将主页插入“输入蜘蛛的URL”字段并单击“开始”来开始常规的“蜘蛛”爬网。

您可以单击“暂停”,并且可以随时“恢复”爬网。您还可以保存抓取并稍后恢复,有关更多信息,请稍后保存。

如果您想抓取URL列表而不是整个网站,请单击“模式>列表”以上传或粘贴URL列表。

 

版权声明:本文为xiaozhuzhu520原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://www.cnblogs.com/xiaozhuzhu520/p/14211179.html