scrapy的命令行模式,非常适合调试parse()内的具体语句。通过这个命令行,可以实验.css.path函数,是否可以返回预想中的值。

scrapyshell模式,使用起来是非常的简单。本文只涉及scrapy shell的最简单使用。还有大量高深内容,等待你的发掘。随着苏南大叔的教程,一起看看scrapy shell的基本使用方式方法吧。

scrapy shell <url>

scrapy shell起始是从这样的命令开始的:

scrapy shell <url> --nolog

以百度新闻首页为例,苏南大叔执行了如下命令,然后等待命令进入“>>>”等待输入状态即可。

scrapy shell http://news.baidu.com/ --nolog

下面是相关说明:

  • 这个<url>也可以是本地的html页面,改成路径即可。
  • 因为默认情况下,scrapy shell会输出大量无用log信息。所以,可以使用--nolog参数禁用掉无用的log日志。
  • 等光标进入“>>>”等待输入状态后,就可以输入后续命令了。

苏南大叔:scrapy爬虫系列:shell命令行测试模式 - scrapy-nolog
scrapy爬虫系列:shell命令行测试模式(图6-1)

退出scrapy shell

quit()或者ctrl+z之后,松手敲回车。或者使用大家熟悉的ctrl+c结束进程。

苏南大叔:scrapy爬虫系列:shell命令行测试模式 - scrapy_shell_quit
scrapy爬虫系列:shell命令行测试模式(图6-6)

总结

scrapy shell是调试scrapy语句的好帮手。灵活使用scrapy shell,就可以事半功倍的书写调试scrapy代码了。

更多scrapy经验文章,请参见这个链接:

如果本文对您有帮助,或者节约了您的时间,欢迎打赏瓶饮料,建立下友谊关系。
本博客不欢迎:各种镜像采集行为。请尊重原创文章内容,转载请保留链接作者。
本站采用创作共用版权协议, 要求署名、非商业用途和相同方式共享。
转载本站内容必须也遵循“署名-非商业用途-相同方式共享”的创作共用协议。
未经许可,规模化镜像抄袭本站内容的行为,将会根据有关法律法规进行维权。
程序如此灵动~》下所有原创文章,如被用于商业用途,请您按规定支付稿费。

 【加群】加入QQ群【175454274】和大家一起讨论这个问题

 【源码】本文代码片段及相关软件,请点此获取

 【绝密】秘籍文章入口,仅传授于有缘之人   python    scrapy

本站的忠实读者小伙伴,正在阅读下面这些文章: