scrapy的安装
python --version 2.7.12版本。
1) 首先在交互模式下测试系统是否安装lxml和OpenSSL
2) 安装lxml,apt-get install python-lxml,
lxml是python中XML和HTML相关功能最丰富,最容易使用的一个库,
lxml不是python自带的包,而是为libxml2h和libxslt库的一个python化的绑定。
3)安装OpenSSL,apt-get install python-openssl,
openssl version -a一般显示的是系统自带的那个openssl
系统bin下自带的openssl,不能直接被python使用,需要再装这个python包,该版本是2.7版本。
4)安装python-dev和libevent
python-dev是linux上开发python比较重要的工具,当需要安装一下源外的python库中,需要调用该包里的api的c/c++文件
自己写的程序需要连接libpythonXX.(a|so)时,都需要安装这个包
libevent是一个时间出发的高性能的网络库,很多框架的底层使用libevent。
apt-get install python-dev
apt-get install libevent-dev
5) 安装pip,python有两个著名的包管理工具,easy_install.py在2.7中是默认安装的,pip需要手动安装。
在使用pip和easy_install进行安装的时候,虚拟机的网络代理出现了问题,在terminal内连接不上pypi.python.org,所以通过
浏览器下载下scrapy1.0.0的版本,python setup.py install进行安装,期间会有很多dependence的lib,都可以通过apt-get
下载安装。
下一步:
1) 配置ssh,直接用git来clone github上的资源
2) 安装requests
3) https://www.zhihu.com/question/20899988
4) 学习lxml 库
5) 写一个简单的爬虫
相关文章
- docker探索-CentOS7中配置Docker的yum源并升级安装docker1.13(十)
- 第三百七十二节,Python分布式爬虫打造搜索引擎Scrapy精讲—scrapyd部署scrapy项目
- 第三百五十七节,Python分布式爬虫打造搜索引擎Scrapy精讲—利用开源的scrapy-redis编写分布式爬虫代码
- 第三百五十三节,Python分布式爬虫打造搜索引擎Scrapy精讲—scrapy的暂停与重启
- 爬虫部署-1,服务端安装使用scrapyd,客户端安装scrapy-client,利用scrapy-client 发布爬虫到远程服务端
- lnmp_auto:自动化安装lnmp环境脚本
- PHP 5.3 连接 Oracle 的客户端及 PDO_OCI 模块安装
- 为什么建议使用虚拟机来安装Linux?
- JDK Mac 安装
- centos 打印机安装方法
- python之pandas安装
- python爬虫:scrapy框架Scrapy类与子类CrawlSpider
- zabbix 安装和配置
- Windows8.1硬盘安装Ubuntu14.04双系统参考教程和多硬盘的注意事项[画画]
- Linux安装httpd2.4.10
- 亲测linux上安装mysql
- Windows7旗舰版安装scrapy的曲折经历
- Crawler之Scrapy:基于scrapy框架实现爬虫两个网址下载网页内容信息之详细攻略
- Tensorflow-gpu保姆级安装教程(Win11, Anaconda3,Python3.9)
- ubuntu 安装 docker