本文描述如何利用pycharm单步调试 scrapy的项目代码,方式主要有两种,适用的途径是不一样的。但对于调试这件事情来说,这两种方案效果都是一致的,有效。

不过对于通过pycharm运行scrapy项目来说,这两种方式是有较大差别的。请大家参考本文中的内容。本文不区分mac还是win。两种常见的操作环境下,方案都是通用的。

配置项目

不管是方案一,还是方案二。这里都是设置同一个地方,只不过设置的参数不一样罢了。菜单项目是:Run=>Edit Configurations

苏南大叔:scrapy爬虫系列:如何使用pycharm调试scrapy程序 - configurations
scrapy爬虫系列:如何使用pycharm调试scrapy程序(图12-1)

增加一条python的配置项目:

苏南大叔:scrapy爬虫系列:如何使用pycharm调试scrapy程序 - configurations_2
scrapy爬虫系列:如何使用pycharm调试scrapy程序(图12-2)

以下是需要主要填写的内容,注意里面的python版本的选择。具体的要填充的内容,请继续看后面的文本。

苏南大叔:scrapy爬虫系列:如何使用pycharm调试scrapy程序 - configurations_3
scrapy爬虫系列:如何使用pycharm调试scrapy程序(图12-3)

如果python版本选择为空的话,还需要设置interpreter。菜单位置:win下面是settings,mac下面是prefence

苏南大叔:scrapy爬虫系列:如何使用pycharm调试scrapy程序 - configurations_4
scrapy爬虫系列:如何使用pycharm调试scrapy程序(图12-4)

方案一的不足之处

方案一的情况下,如果点击run spider的话,就是说不调试,直接执行,就会报错。相关的错误提示信息是:

import http.client
ModuleNotFoundError: No module named 'http.client'

网上给出的解决方案是:要设置调试界面的选项Show command line afterwards。不过在最新版的pycharm里,苏南大叔没有找到相关的选项。那么,大家如果喜欢在pycharm里面run的话,就还是暂时不要使用方案一了。

苏南大叔:scrapy爬虫系列:如何使用pycharm调试scrapy程序 - scrapy_1_run
scrapy爬虫系列:如何使用pycharm调试scrapy程序(图12-12)

那么大家如果有好的思路,可以给苏南大叔留言。

总结

苏南大叔推荐大家使用方案二设置调试,因为这条命令既可以调试,还可以运行。两全其美。方案一如何run的问题,暂时还没有解决。

scrapy的程序,有异常的时候,报错信息不是很好找。需要大家仔细的观察运行情况及console中的输出。如果发现异常了,要仔细从后往前看日志... 然后就会在某个小角度里面,发现你需要的报错信息的。

更多scrapy的相关文章,请点击链接查看。

如果本文对您有帮助,或者节约了您的时间,欢迎打赏瓶饮料,建立下友谊关系。
本博客不欢迎:各种镜像采集行为。请尊重原创文章内容,转载请保留链接作者。
本站采用创作共用版权协议, 要求署名、非商业用途和相同方式共享。
转载本站内容必须也遵循“署名-非商业用途-相同方式共享”的创作共用协议。
未经许可,规模化镜像抄袭本站内容的行为,将会根据有关法律法规进行维权。
程序如此灵动~》下所有原创文章,如被用于商业用途,请您按规定支付稿费。

 【加群】加入QQ群【175454274】和大家一起讨论这个问题

 【源码】本文代码片段及相关软件,请点此获取

 【绝密】秘籍文章入口,仅传授于有缘之人   scrapy    pycharm

本站的忠实读者小伙伴,正在阅读下面这些文章: