发布于 2017-06-06 01:57:42 | 167 次阅读 | 评论: 0 | 来源: 网友投递
这里有新鲜出炉的Scrapy 0.24 中文文档,程序狗速度看过来!
Scrapy Python的爬虫框架
Scrapy是一个Python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。
CentOS7下安装Scrapy步骤详细介绍
更新yum
[root@localhost ~]# yum -y update
安装gcc及扩展包
[root@localhost ~]# yum install gcc libffi-devel python-devel openssl-devel
安装开发工具包
[root@localhost ~]# yum groupinstall -y development
安装libxslt-devel支持lxml
[root@localhost ~]# yum install libxslt-devel
安装pip
[root@localhost ~]# yum -y install python-pip
安装Scrapy
[root@localhost ~]# pip install scrapy
感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!