基于BuildKit优化Dockerfile的构建
Docker通过读取Dockerfile中的指令自动构建镜像,Dockerfile是一个文本文件,其中依次包含构建给定镜像所需的所有命令。
上面的解释摘自Docker的官方文档并总结了Dockerfile的用途。Dockerfile的使用非常重要,因为它是我们的蓝图,是我们添加到Docker镜像中的层的记录。
本文,我们将学习如何利用BuildKit功能,这是Docker v18.09上引入的一组增强功能。集成BuildKit将为我们提供更好的性能,存储管理和安全性。
减少构建时间; 缩小镜像尺寸; 获得可维护性; 获得可重复性; 了解多阶段Dockerfile; 了解BuildKit功能。 Docker概念知识 已安装Docker(当前使用v19.03) 一个Java应用程序(在本文中,我使用了一个Jenkins Maven示例应用程序)让我们开始吧!
简单的Dockerfile示例以下是一个包含Java应用程序的未优化Dockerfile的示例。我们将逐步进行一些优化。
FROM debian COPY . /app RUN apt-get update RUN apt-get -y install openjdk-11-jdk ssh emacs CMD [“java”, “-jar”, “/app/target/my-app-1.0-SNAPSHOT.jar”]
在这里,我们可能会问自己:构建需要多长时间?为了回答这个问题,让我们在本地开发环境上创建该Dockerfile,并让Docker构建镜像。
# enter your Java app folder cd simple-java-maven-app-master # create a Dockerfile vim Dockerfile # write content, save and exit docker pull debian:latest # pull the source image time docker build --no-cache -t docker-class . # overwrite previous layers # notice the build time 0,21s user 0,23s system 0% cpu 1:55,17 total
此时,我们的构建需要1m55s。
如果我们仅启用BuildKit而没有其他更改,会有什么不同吗?
启用BuildKitBuildKit可以通过两种方法启用:
在调用Docker build命令时设置DOCKER_BUILDKIT = 1环境变量,例如:
time DOCKER_BUILDKIT=1 docker build --no-cache -t docker-class
将Docker BuildKit设置为默认开启,需要在/etc/docker/daemon.json进行如下设置,然后重启:
{ "features": { "buildkit": true } }
BuildKit最初的效果
DOCKER_BUILDKIT=1 docker build --no-cache -t docker-class . 0,54s user 0,93s system 1% cpu 1:43,00 total
此时,我们的构建需要1m43s。在相同的硬件上,构建花费的时间比以前少了约12秒。这意味着构建几乎无需费力即可节约10%左右的时间。
现在让我们看看是否可以采取一些额外的步骤来进一步改善。
从最小到最频繁变化的顺序因为顺序对于缓存很重要,所以我们将COPY命令移到更靠近Dockerfile末尾的位置。
FROM debian RUN apt-get update RUN apt-get -y install openjdk-11-jdk ssh emacs RUN COPY . /app CMD [“java”, “-jar”, “/app/target/my-app-1.0-SNAPSHOT.jar”]避免使用“COPY .”
选择更具体的COPY参数,以避免缓存中断。仅复制所需内容。
FROM debian RUN apt-get update RUN apt-get -y install openjdk-11-jdk ssh vim COPY target/my-app-1.0-SNAPSHOT.jar /app CMD [“java”, “-jar”, “/app/my-app-1.0-SNAPSHOT.jar”]apt-get update 和install命令一起使用
这样可以防止使用过时的程序包缓存。
FROM debian RUN apt-get update / apt-get -y install openjdk-11-jdk ssh vim COPY target/my-app-1.0-SNAPSHOT.jar /app CMD [“java”, “-jar”, “/app/my-app-1.0-SNAPSHOT.jar”]删除不必要的依赖
在开始时,不要安装调试和编辑工具,以后可以在需要时安装它们。
FROM debian RUN apt-get update / apt-get -y install --no-install-recommends / openjdk-11-jdk COPY target/my-app-1.0-SNAPSHOT.jar /app CMD [“java”, “-jar”, “/app/my-app-1.0-SNAPSHOT.jar”]删除程序包管理器缓存
你的镜像不需要此缓存数据。借此机会释放一些空间。
FROM debian RUN apt-get update / apt-get -y install --no-install-recommends / openjdk-11-jdk / rm -rf /var/lib/apt/lists/* COPY target/my-app-1.0-SNAPSHOT.jar /app CMD [“java”, “-jar”, “/app/my-app-1.0-SNAPSHOT.jar”]尽可能使用官方镜像
使用官方镜像有很多理由,例如减少镜像维护时间和减小镜像尺寸,以及预先配置镜像以供容器使用。
FROM openjdk COPY target/my-app-1.0-SNAPSHOT.jar /app CMD [“java”, “-jar”, “/app/my-app-1.0-SNAPSHOT.jar”]使用特定标签
请勿使用latest标签。
FROM openjdk:8 COPY target/my-app-1.0-SNAPSHOT.jar /app CMD [“java”, “-jar”, “/app/my-app-1.0-SNAPSHOT.jar”]寻找最小的镜像
以下是openjdk镜像列表。选择最适合自己的最轻的那个镜像。
REPOSITORY TAG标签 SIZE大小 openjdk 8 634MB openjdk 8-jre 443MB openjdk 8-jre-slim 204MB openjdk 8-jre-alpine 83MB在一致的环境中从源构建
如果你不需要整个JDK,则可以使用Maven Docker镜像作为构建基础。
FROM maven:3.6-jdk-8-alpine WORKDIR /app COPY pom.xml . COPY src ./src RUN mvn -e -B package CMD [“java”, “-jar”, “/app/my-app-1.0-SNAPSHOT.jar”]在单独的步骤中获取依赖项
可以缓存–用于获取依赖项的Dockerfile命令。缓存此步骤将加快构建速度。
FROM maven:3.6-jdk-8-alpine WORKDIR /app COPY pom.xml . RUN mvn -e -B dependency:resolve COPY src ./src RUN mvn -e -B package CMD [“java”, “-jar”, “/app/my-app-1.0-SNAPSHOT.jar”]多阶段构建:删除构建依赖项
为什么要使用多阶段构建?
将构建与运行时环境分开 DRY方式 具有开发,测试等环境的不同详细信息 线性化依赖关系 具有特定于平台的阶段FROM maven:3.6-jdk-8-alpine AS builder WORKDIR /app COPY pom.xml . RUN mvn -e -B dependency:resolve COPY src ./src RUN mvn -e -B package FROM openjdk:8-jre-alpine COPY --from=builder /app/target/my-app-1.0-SNAPSHOT.jar / CMD [“java”, “-jar”, “/my-app-1.0-SNAPSHOT.jar”]
如果你此时构建我们的应用程序,
time DOCKER_BUILDKIT=1 docker build --no-cache -t docker-class . 0,41s user 0,54s system 2% cpu 35,656 total
你会注意到我们的应用程序构建需要大约35.66秒的时间。这是一个令人愉快的进步。
下面,我们将介绍其他场景的功能。
多阶段构建:不同的镜像风格下面的Dockerfile显示了基于Debian和基于Alpine的镜像的不同阶段。
FROM maven:3.6-jdk-8-alpine AS builder FROM openjdk:8-jre-jessie AS release-jessie COPY --from=builder /app/target/my-app-1.0-SNAPSHOT.jar / CMD [“java”, “-jar”, “/my-app-1.0-SNAPSHOT.jar”] FROM openjdk:8-jre-alpine AS release-alpine COPY --from=builder /app/target/my-app-1.0-SNAPSHOT.jar / CMD [“java”, “-jar”, “/my-app-1.0-SNAPSHOT.jar”]
要构建特定的镜像,我们可以使用–target参数:
time docker build --no-cache --target release-jessie .不同的镜像风格(DRY /全局ARG)
ARG flavor=alpine FROM maven:3.6-jdk-8-alpine AS builder FROM openjdk:8-jre-$flavor AS release COPY --from=builder /app/target/my-app-1.0-SNAPSHOT.jar / CMD [“java”, “-jar”, “/my-app-1.0-SNAPSHOT.jar”]
ARG命令可以指定要构建的镜像。在上面的例子中,我们指定alpine为默认的镜像,但我们也可以在docker build命令中,通过–build-arg flavor=参数指定镜像。
time docker build --no-cache --target release --build-arg flavor=jessie .
并发在构建Docker镜像时很重要,因为它会充分利用可用的CPU线程。在线性Dockerfile中,所有阶段均按顺序执行。通过多阶段构建,我们可以让较小的依赖阶段准备就绪,以供主阶段使用它们。
BuildKit甚至带来了另一个性能上的好处。如果在以后的构建中不使用该阶段,则在结束时将直接跳过这些阶段,而不是对其进行处理和丢弃。
下面是一个示例Dockerfile,其中网站的资产是在一个assets阶段中构建的:
FROM maven:3.6-jdk-8-alpine AS builder FROM tiborvass/whalesay AS assets RUN whalesay “Hello DockerCon!” out/assets.html FROM openjdk:8-jre-alpine AS release COPY --from=builder /app/my-app-1.0-SNAPSHOT.jar / COPY --from=assets /out /assets CMD [“java”, “-jar”, “/my-app-1.0-SNAPSHOT.jar”]
这是另一个Dockerfile,其中分别编译了C和C ++库,并在builder以后使用该阶段。
FROM maven:3.6-jdk-8-alpine AS builder-base FROM gcc:8-alpine AS builder-someClib RUN git clone … ./configure --prefix=/out make make install FROM g++:8-alpine AS builder-some CPPlib RUN git clone … cmake … FROM builder-base AS builder COPY --from=builder-someClib /out / COPY --from=builder-someCpplib /out /BuildKit应用程序缓存
BuildKit具有程序包管理器缓存的特殊功能。以下是一些缓存文件夹位置的示例:
包管理器 路径
apt /var/lib/apt/lists go ~/.cache/go-build go-modules $GOPATH/pkg/mod npm ~/.npm pip ~/.cache/pip
我们可以将此Dockerfile与上面介绍的在一致的环境中从源代码构建中介绍的Dockerfile进行比较。这个较早的Dockerfile没有特殊的缓存处理。我们可以使用–mount=type=cache来做到这一点。
FROM maven:3.6-jdk-8-alpine AS builder WORKDIR /app RUN --mount=target=. --mount=type=cache,target /root/.m2 / mvn package -DoutputDirectory=/ FROM openjdk:8-jre-alpine COPY --from=builder /app/target/my-app-1.0-SNAPSHOT.jar / CMD [“java”, “-jar”, “/my-app-1.0-SNAPSHOT.jar”]BuildKit的安全功能
BuildKit具有安全功能,下面的示例中,我们使用了–mount=type=secret隐藏了一些机密文件,例如~/.aws/credentials。
FROM baseimage RUN … RUN --mount=type=secret,id=aws,target=/root/.aws/credentials,required / ./fetch-assets-from-s3.sh RUN ./build-scripts.sh
要构建此Dockerfile,需要使用–secret参数:
docker build --secret id=aws,src=~/.aws/credentials
还有为了提高安全性,避免使用诸如COPY ./keys/private.pem /root .ssh/private.pem之类的命令,我们可以使用BuildKit中的ssh解决此问题:
FROM alpine RUN apk add --no-cache openssh-client RUN mkdir -p -m 0700 ~/.ssh ssh-keyscan github.com ~/.ssh/known_hosts ARG REPO_REF=19ba7bcd9976ef8a9bd086187df19ba7bcd997f2 RUN --mount=type=ssh,required git clone git@github.com:org/repo /work cd /work git checkout -b $REPO_REF
要构建此Dockerfile,你需要在ssh-agent中加载到你的SSH私钥。
eval $(ssh-agent) ssh-add ~/.ssh/id_rsa # this is the SSH key default location docker build --ssh=default .
本文,我们介绍了使用Docker BuildKit优化Dockerfile,并因此加快了镜像构建时间。这些速度的提高,可以帮助我们提高效率和节省计算能力。
参考:https://www.kubernetes.org.cn/9059.html
(版权归原作者所有,侵删)
本文链接:http://www.yunweipai.com/39853.html
原创文章,作者:Maggie-Hunter,如若转载,请注明出处:https://blog.ytso.com/52310.html
DockerjavajenkinsKubernetes相关文章
- 入门webpack的最佳实践(基于webpack4.X 5.X)-- 打包配置优化
- 干货 | 基于ClickHouse的复杂查询实现与优化
- 英伟达最新成果!基于NeRF的并行优化方法,可用于6D姿态估计!论文/代码速递2022.10.21!
- Brief Bioinform|基于深度学习和传统打分函数的配体构象优化框架
- 端到端QoE优化实践,视频播放体验优化,视频评测体系构建,基于大数据的VMAF质量计算
- 基于端智能的播放QoE优化
- 制程优化新方案,CAXA工艺图表2022引领智能工厂新时代!+全版本安装包
- MySQL查询性能优化武器之链路追踪
- MyEclipse优化技巧详解编程语言
- Linux优化虚拟内存大小实践(linux虚拟内存大小)
- Linux系统:安全优化提升效率(linux系统安全优化)
- Oracle数据库优化必用:判断更新(oracle判断更新)
- MySQL手动配置:实现数据库连接与优化(mysql手动配置)
- Linux系统安装后的基础优化-基于CentOS
- MySQL 索引:优化查询效率的方法(mysql索引方法)
- Linux网络性能优化:实现最佳效果(linux网络性能优化)
- 最佳架构:MySQL环境优化实战(mysql环境要求)
- Oracle 数据量庞大,如何优化处理?(Oracle 数据量大)
- MySQL最大TPS:如何优化数据库性能?(mysql最大tps)
- MSSQL百万行数据快速优化技术实践(mssql百万行数据优化)
- 基于Redis的订单系统架构优化(订单系统redis应用)
- 基于中国市场的Redis优化建议(中国redis优化建议)
- 构建TP5项目基于Redis扩展的优化(tp5 redis 扩展)
- 基于分布化的Redis优化策略(分布化redis)
- 优化 Oracle 数据库,风哥带你开启全新体验(oracle 优化 风哥)
- 利用Oracle中的Top函数优化查询效率(oracle中top函数)
- 提升性能基于Redis的多连接优化(redis连接增多)
- 基于Redis的优化运维框架(redis 运维框架)
- Redis过期多线程优化(redis过期 多线程)
- 海量数据库的查询优化及分页算法方案集合1/2