爬虫部署-2,基于Docker的Scrapy+Scrapyd+Scrapydweb部署
2023-09-14 09:00:32 时间
####
scrapy对接docker的思路,
###
涉及到四个部分,
Scrapy
Scrapyd
Scrapydweb
Docker
####
首先你思考一下,如果只有Scrapyd怎么docker部署?
1、把Scrapyd独立成为一个项目
1.1 编写Scrapyd的配置文件
新建一个scrapyd.conf文件,填写配置内容,默认使用官网上的就可以。
1.2 新建一个requirements
当前目录下有两个文件,一个是scrapyd的配置文件,另一个是pip下载模块的文件。
1.3 Dockerfile文件
FROM python:3.6 ADD . /code WORKDIR /code COPY ./scrapyd.conf /etc/scrapyd/ EXPOSE 6800 RUN pip3 install -r requirements.txt CMD scrapyd
这个构建成为一个容器
然后启动容器,这个是可以直接访问到的,我们打开 http://localhost:6800 就能看到Scrapyd服务。
######
然后部署scrapydweb
2,把scrapydweb独立成为一个项目,
FROM python:3.6 ADD . /scrapydweb WORKDIR /scrapydweb COPY ./ . EXPOSE 5000 RUN pip3 install -r requirements.txt CMD scrapydweb
###
最后是容器编排的问题
docker-compose.yaml
前面两步只要能运行成功了,这一步就简单了,
####
#####
相关文章
- docker 权限问题 Got permission denied while trying to connect to the Docker daemon socket at 。。。「建议收藏」
- docker 下安装常用 image
- 学习爬虫之Scrapy框架学习(六)–1.直接使用scrapy;使用scrapy管道;使用scrapy的媒体管道类进行猫咪图片存储。媒体管道类学习。自建媒体管道类存储图片
- docker的四种网络模式_网络模式11b/g/n什么意思
- 【重识云原生】第六章容器6.1.12节——Docker网络模型设计
- Jenkins+Docker 实现一键自动化部署项目!步骤齐全,少走坑路
- docker部署Nexus
- linux离线安装docker_Unable to locate package vim
- docker 离线安装_Docker安装
- Jenkins使用pipeline自动打包Docker镜像
- Docker服务的停止命令(systemctl stop docker)
- 「 [Docker]当你的docker无法解析DNS 」
- 【Docker 系列】docker 学习 一,Docker的安装使用及Docker的基本工作原理
- 【Docker 系列】docker 学习六,DockerFile
- 【Docker 系列】docker 学习八,Docker 网络
- 【Docker 系列】docker 学习十一,docker 总结和面试题整理
- Docker - docker-compose搭建ELK服务
- springboot整合docker部署(两种构建Docker镜像方式)详解编程语言
- 使用Docker安装Redis并配置成功(docker安装redis)
- 在Linux系统中安装Docker容器(linux下安装docker)
- 使用Docker安装Redis,一步到位!(docker安装redis)
- Docker容器管理Redis服务(dockerredis)
- docker-跨宿主机容器网络互联
- 为什么Docker成为虚拟化与云计算领域的新宠儿?
- 高效爬虫利器:Redis与Scrapy的完美结合(redis scrapy)