Ubuntu14.04部署pyspider的过程
部署 过程 ubuntu14.04
2023-09-11 14:17:21 时间
1、安装,安装官方文档,应该先执行
- sudo apt-get install python python-dev python-distribute python-pip libcurl4-openssl-dev libxml2-dev libxslt1-dev python-lxml
再执行:
- sudo pip install --allow-all-external pyspider[all]
第一个错误:
- No distributions at all found for mysql-connector-python>=1.2.2
解决方法:换pip源,给~/.pip/pip.conf里面加上:
- [global]
- index-url = http://pypi.douban.com/simple/
第二个错误:
- Error: pg_config executable not found.
解决方法:
- sudo aptitude install libpq-dev
第三个错误:
In file included from src/docstrings.c:4:0: src/pycurl.h:170:31: fatal error: openssl/crypto.h: No such file or directory compilation terminated. error: command 'x86_64-linux-gnu-gcc' failed with exit status 1
解决方法:
sudo apt-get install libssl-dev
如果要用phantomjs,还得独立安装:
- sudo aptitude install phantomjs
建议使用MongoDB做数据存储:
- sudo aptitue install mongodb
建议使用redis做消息队列存储:
- sudo aptitude install redis-server
给个与官放文档略有不同的配置文件范本(config.json):
- {
- "taskdb":"mongodb+taskdb://mongodbuser:password@127.0.0.1:27017/taskdb",
- "projectdb":"mongodb+projectdb://mongodbuser:password@127.0.0.1:27017/projectdb",
- "resultdb":"mongodb+resultdb://mongodbuser:password@127.0.0.1:27017/resultdb",
- "message_queue":"redis://:redis_password@127.0.0.1:6379/1",
- "webui": {
- "username": "webUIusername",
- "password": "webUIpassword",
- "need-auth": true
- }
- }
启动shell脚本:
- #!/bin/bash
- sudo nohup pyspider -c config.json all &
相关文章
- Qt最新版5.12在Windows环境静态编译安装和部署的完整过程(VS2017)
- redis安装,修改配置文件,多实例部署 redis-server
- 5分钟教你在kubernetes集群上安装Helm,并部署应用
- kubernetes 部署工具:sealos
- 阿里云NAS文件存储部署方案介绍和对比
- 使用 Docker Swarm 部署可扩展的 Python3 应用
- 记一次完整地简单地使用Jenkins,Docker,Docker-Compose,Github自动化部署Nodejs代码的过程;Jenkins快速入手
- 快速部署rabbitMQ教程
- k8s-部署CoreDNS
- k8s工作端二进制部署-kube-proxy
- 大数据学习——Kafka集群部署
- 测试环境部署
- 大数据Flink教程之 在 Minikube 上部署 Flink Native Kubernetes
- keepalived+lvs部署后,。访问VIP发现一直调用到后端的一个主机上面。
- F5 云应用服务促进公共云、私有云及混合云应用部署
- ArcPad 10 的安装部署
- WCF IIS上部署服务