scrapy抓取项目，如何处理duplicate request的问题？发布于2022年02月16日 python scrapy抓取项目，因为是一个循环抓取的过程，期间会处理不同的url地址。那么，就如500状态码会阻止代码运行一样，重复的url也会阻止代码的继续执行，这简直不要太不合情理。大家好，这里苏南大叔的“程序如此灵动”... 阅读更多
scrapy抓取结果保存为文件，如何解决中文乱码问题？发布于2022年02月15日 python 又是中文乱码问题，本文介绍scrapy保存结果到json或者xml文件的时候，中文乱码的问题。那么，该如何才能解决这个问题呢？大家好，这里是苏南大叔的“程序如此灵动”博客。本文解决scrapy抓取文章结果乱码的问题... 阅读更多
scrapy抓取，如何改写非200状态码的response返回值？发布于2022年02月14日 python scrapy目前是非常火热的抓取框架，苏南大叔以前更新过这个scrapy框架的部分教程。目前，对以前的内容进行一些适当的补充。本文中，解决的问题是scrapy抓取文件的时候，会碰到一些非200状态码的情况，比如：5... 阅读更多
运行scrapy爬虫时，提示不能识别crawl命令，该如何处理？发布于2020年04月29日 python 近期，苏南大叔在箱子底里面翻出了一个scrapy项目，因为目标网站改版，所以需要修复一些抓取规则。在调试的过程中，发现了一些小问题，比如本文中所描述的一个弱智问题，非常弱智。但是，估计读者你还是犯了这个问题了吧？否... 阅读更多
scrapy爬虫系列：利用pymysql操作mysql数据库发布于2018年09月07日 大数据分析 苏南大叔在本篇文章中，继续讲述scrapy如何处理item数据，如何把抓取到的item数据，持久化到mysql数据库之中。本文的主要战场是：piplines.py这个文件。在python中，配合mysql的库文件也... 阅读更多
检测到了复制动作，那么是否解决了您的问题？ 
