如何在vscode中调试python scrapy爬虫
本文环境为 Win10 64bit+VS Code+Python3.6,步骤简单罗列下,此方法可以不用单独建一个Py入口来调用命令行
- 安装Python,从官网下载,过程略,这里主要注意将python目录加入环境变量 Path中 “D:\Python36\” “D:\Python36\Scripts”
- 安装Vs code,过程略, 在vscode扩展中安装Python插件
- 建立你的Scrapy爬虫项目或者拷贝过来 用VSC打开,如果应用了chromedriver/ phantomjs一定要拷贝.exe到Python36目录或单独加环境变量
- 将根目录添加到工作区
- 开始准备调试,在debug这里选择添加配置,选择python中的scrapy
- VSC会自动带入默认的配置如图
- 这里注意 args就是你的参数: crawl 关键字爬取保留, specs是爬虫名字 换成你自己的,后面两个参数可根据scrapy实际情况增减
- 此时按F5调试, 如果报“Unknown command: crawl”错误,则需要在launch.json的scrapy中增加 “cwd”参数, 设置路径为爬虫项目名目录,一般都在scrapy下的一级
-
- 此时再按F5 即可调试到你在spider里的断点了。
Unhandled error in Deferred
如果调试代码出现以上错误,并且没有详细错误信息,可以考虑重新安装正确的 pywin32,Twisted,也可以单步调试找出出错地点,具体问题具体分析
package版本大全:https://www.lfd.uci.edu/~gohlke/pythonlibs/
参考:http://www.stevetrefethen.com/blog/debugging-a-python-scrapy-project-in-vscode