使用阿里云容器服务Jenkins实现持续集成和Docker镜像构建(updated on 2017.3.3)

持续集成作为敏捷开发重要的一步，其目的在于让产品快速迭代的同时，尽可能保持高质量。每一次代码更新，都要通过自动化测试来检测代码和功能的正确性，只有通过自动测试的代码才能进行后续的交付和部署。本文主要介绍如何将时下最流行的持续集成工具之一的Jenkins结合阿里云容器服务，实现自动测试和镜像构建推送。

持续集成作为敏捷开发重要的一步，其目的在于让产品快速迭代的同时，尽可能保持高质量。每一次代码更新，都要通过自动化测试来检测代码和功能的正确性，只有通过自动测试的代码才能进行后续的交付和部署。本文主要介绍如何将时下最流行的持续集成工具之一的Jenkins结合阿里云容器服务，实现自动测试和镜像构建推送。

接下来的演示是如何通过阿里云容器服务Jenkins实现自动测试和Docker镜像构建，实现高质量的持续集成。
具体场景：每次代码提交到GitHub上的nodejs的项目中，阿里云容器服务Jenkins都会自动触发单元测试，测试通过则继续镜像构建及推送到目标镜像仓库中，最后邮件通知结果。大致流程如下图所示：

slave-nodejs 是用来进行单元测试,build镜像和推送镜像的slave节点。

1. Jenkins相关介绍

Jenkins是基于Java开发的一种开源持续集成工具，监控并触发持续重复的工作，具有开源，支持多平台和插件扩展，安装简单，界面化管理等特点。Jenkins使用job来描述每一步工作，节点是用来执行项目的环境。Master节点是Jenkins job的默认执行环境，也是Jenkins应用本身的安装环境。

1.1 master/slave

master/slave相当于server和agent的概念。master提供web接口让用户来管理job和slave，job可以运行在master本机或者被分配到slave上运行。一个master可以关联多个slave用来为不同的job或相同的job的不同配置来服务。
可以通过配置多个slave为不同项目准备单独的测试和构建环境。
Tips: 本文中提到的Jenkins job和项目均指的是Jenkins一个构建单元，执行单元。

2. 使用容器服务部署Jenkins应用和slave节点

不同应用构建、测试所需要的依赖不同，最佳实践是使用包含相应的运行时依赖和工具的不同Slave容器执行测试和构建。通过阿里云容器服务提供的针对Python, NodeJS, go等不同环境的Slave镜像以及示例模板, 用户可以简单快速地生成Jenkins应用以及各种slave节点，在Jenkins应用中配置节点信息，然后在构建项目中指定执行节点，从而实现整个持续集成流程。

2.1 创建Jenkins编排模版

新建模版，以如下内容为基础，创建编排。(阿里云容器服务Jenkins master支持标签1.651.3, 2.19.2, 2.32.2)

jenkins:

 image: registry.cn-hangzhou.aliyuncs.com/acs-sample/jenkins:2.60.3

 mem_limit: 4000000000

 volumes:

 - /var/lib/docker/jenkins:/var/jenkins_home

 restart: always 

 labels:

 aliyun.scale: 1

 aliyun.probe.url: tcp://container:8080

 aliyun.probe.initial_delay_seconds: 10

 aliyun.routing.port_8080: jenkins

 links:

 - slave-java

slave-java:

 image: registry.aliyuncs.com/acs-sample/jenkins-slave-dind-java

 volumes:

 - /var/run/docker.sock:/var/run/docker.sock

 restart: always 

 labels:

 aliyun.scale: 1

 

2.2 使用模板创建Jenkins应用和slave节点

当然也可以直接使用阿里云容器服务提供的jenkins示例模版创建Jenkins应用和slave节点。

创建成功后，Jenkins应用和slave节点就出现在服务列表中。

打开容器服务提供的访问端点，就可以使用刚刚部署的Jenkins应用。

3. 实现自动测试，以及自动构建推送镜像 3.1 将slave容器配置成Jenkins应用的slave节点

打开Jenkins应用，进入系统设置界面，选择管理节点，新建节点，配置相应参数。如下图所示。

Note1: 标签为slave的唯一标识。
Note2: slave容器和Jenkins容器同时运行在阿里云平台上，因此填写外网访问不到的容器节点IP，隔离测试环境。

Note3: 添加Credential的时候，使用创建slave-nodejs镜像的Dockerfile里的jenkins帐户和密码(jenkins/jenkins)。
镜像Dockerfile地址：https://github.com/AliyunContainerService/jenkins-slaves/tree/master/jenkins-slave-dind-nodejs

3.2 创建项目实现自动化测试

新建Item,选择构建一个自由风格的软件项目。
填写项目名称，并选择项目运行节点，此示例填写上述准备的slave-nodejs-ut节点。

配置源码管理和代码分支，此示例中源代码使用GitHub管理。

配置构建触发器，此示例采用结合GitHub Webhooks services实现自动触发项目执行。

最后在GitHub中添加Jenkins的service hook，完成自动触发实现。
在GitHub 项目主页点击settings tab,左侧菜单栏选择Webhooks services, Add Service，下拉框中选择Jenkins(Git plugin)。
在Jenkins hook url对话框中填写${Jenkins IP}/github-webhook/, eg，

http://jenkins.cd****************.cn-beijing.alicontainer.com/github-webhook/

增加Execute shell类型的构建步骤，编写shell脚本执行测试。

本示例中的Command如下：

cd chapter2

npm test

3.2-1 创建项目实现自动化测试(SVN代码源示例)

在源码管理模块选择Subversion。
Repository URL中填入svn repo地址。（如果Jenkins master时区和SVN服务器时区不一致，请在repo地址末尾添加 @HEAD）
Credentials中添加svn服务器的用户名和密码。

配置构建触发器，此示例采用Post-commit hook实现自动触发项目执行。
在身份验证令牌中填写你设置的token。

登录SVN服务器，在代码repo（svn-java-demo)的hooks文件目录下创建post-commit文件。

cd /home/svn/svn-java-demo/hooks

cp post-commit.tmpl post-commit

chmod 755 post-commit

在 post-commit 文件中添加 curl -u ${Jenkins_account}:${password} ${Jenkins_url}/job/svn/build?token=${token} 命令。eg，curl -u test:test http://127.0.0.1:8080/jenkins/job/svn/build?token=qinyujia 。

3.3 创建项目实现自动构建，推送镜像

新建Item,选择构建一个自由风格的软件项目。
填写项目名称，并选择项目运行节点，此示例填写上述准备的slave-nodejs-ut节点。
配置源码管理和代码分支，此示例中源代码使用GitHub管理。
（由于以上三个步骤和章节2中类似，所以不再配图）
添加如下触发器，设置只有在单元测试成功之后才执行自动构建镜像。

最后编写构建镜像和推送镜像的shell脚本。

本示例的Command如下：

cd chapter2

sudo docker build -t registry.aliyuncs.com/qinyujia-test/nodejs-demo .

sudo docker login -u ${yourAccount} -p ${yourPassword} registry.aliyuncs.com

sudo docker push registry.aliyuncs.com/qinyujia-test/nodejs-demo

4. 自动重新部署应用 4.1 首次部署应用

使用编排模板，将章节3中创建的镜像部署到容器服务中，创建nodejs-demo应用。示例如下：

express:

image: registry.aliyuncs.com/qinyujia-test/nodejs-demo

expose:

 - 22

 - 3000

restart: always

labels:

 aliyun.routing.port_3000: express

4.2 自动重新部署

选择刚刚创建的应用nodejs-demo, 创建触发器。

在章节3.3的shell脚本中添加一行,地址即为上文创建的触发器给出的触发器链接。

curl ‘https://cs.console.aliyun.com/hook/trigger?triggerUrl=***== secret=***’

把3.3中的示例的Command改为：

cd chapter2

sudo docker build -t registry.aliyuncs.com/qinyujia-test/nodejs-demo .

sudo docker login -u ${yourAccount} -p ${yourPassword} registry.aliyuncs.com

sudo docker push registry.aliyuncs.com/qinyujia-test/nodejs-demo

curl ‘https://cs.console.aliyun.com/hook/trigger?triggerUrl=***== secret=***’

到此，镜像推送之后，Jenkins会自动触发重新部署nodejs-demo应用。

5. 配置邮件推送结果

如果希望单元测试或者镜像构建的结果能够通过邮件推送给相关开发人员或者项目执行发起者。可以通过如下配置来实现。
首先在Jenkins主页，选择系统管理，系统设置，配置Jenkins系统管理员邮箱。

安装Extended Email Notification plugin，配置SMTP server等相关信息，并设置默认邮件接收人列表。如下图所示。

以上是Jenkins应用系统参数设置，下面是为需要用邮件推送结果的Jenkins项目进行相关配置。
在Jenkins项目中添加构建后操作步骤，选择Editable Email Notification类型，填写邮件接收人列表。

添加邮件发送触发器。

6. 总结

利用Docker镜像和Compose模版，容器服务就能快速创建自动测试和构建的环境，简化持续集成的环境搭建和扩展。容器服务提供的监控，日志，存储等功能，进一步为用户提供方便统一，功能完善的各种环境管理。

感谢@莫源同学的大力支持！

想查看阿里云容器服务提供了哪些slave节点，请访问 https://github.com/AliyunContainerService/jenkins-slaves
想了解更多容器服务内容，请访问 https://www.aliyun.com/product/containerservice

在阿里云Centos7.6上利用docker搭建Jenkins来自动化部署Django项目 一般情况下，将一个项目部署到生产环境的流程如下： 需求分析—原型设计—开发代码—内网部署-提交测试—确认上线—备份数据—外网更新-最终测试，如果发现外网部署的代码有异常，需要及时回滚。 整个过程相当复杂而漫长，其中还需要输入不少的命令，比如上传代码，git的拉取或者合并分支等等。
docker阿里云镜像加速 我们都知道因为某些原因我们访问外网都是比较慢的，比如我们使用maven下载依赖时是一个道理，同样的使用docker从docker.hub上下载镜像也是比较慢的。针对这种访问官网比较慢的情况有两种方案，第一种就是使用国内的仓库，第二种就是使用一个加速器。这里我们配置docker的镜像加速从来来实现提速。
嫀嫀 阿里云容器服务团队DevOps方案负责人，阿里云Codepipeline产品核心研法。在敏捷开发、持续交付、黑白盒测试等方面有丰富的经验。