通过宝塔面板的 linux 工具箱,如何管理 swap 交换分区?发布于2018年09月09日 运维测试 swap虚拟内存,是衍生于linux世界的一个概念,类似于Windows的虚拟内存。当内存不足的时候,可以把一部分硬盘空间虚拟成内存使用,从而解决内存容量不足的情况。那么centos也是一款linux的分支系统,也... 阅读更多
如何查看 python / pip / pip package 的版本号?发布于2018年09月08日 python 在本篇版本有关的博文中,苏南大叔准备写个水一点的文章,说说python相关的一系列版本号的查看问题。这包括python、pip、pip的package等等的版本号。都是些比较基础的小应用知识点,但是可能会比较容易混... 阅读更多
scrapy爬虫系列:利用pymysql操作mysql数据库发布于2018年09月07日 数据分析 苏南大叔在本篇文章中,继续讲述scrapy如何处理item数据,如何把抓取到的item数据,持久化到mysql数据库之中。本文的主要战场是:piplines.py这个文件。在python中,配合mysql的库文件也... 阅读更多
scrapy爬虫系列:数据结构体item及数据处理逻辑pipline发布于2018年09月06日 数据分析 pipline是scrapy系列处理数据的地方,在pipline里面,可以把采集到的数据持久化。而scrapy就是item就是数据的标准格式,有点像以前c#时代的model,定义数据属性的地方。那么,通常意义上的,... 阅读更多
scrapy爬虫系列:页面数据查询的三种方式发布于2018年09月05日 数据分析 scrapy获取到response对象后,需要对response对象进行解析,才能取到后续数据。本文中,苏南大叔将对scrapy解析数据的几种方式,进行总结说明。这其中包括官方推荐的.css,.xpath方式,当然... 阅读更多