【Docker】docker login Harbor搭建的registry报503错误
生产和测试环境维护了两套 Harbor 仓库,准备做镜像同步,要实现这样的功能,首先得是两边环境网络是通的,通过临时的网络策略放开了,然后就是至少两边互相 docker login 对方的 registry 应该也需要成功,但是有个奇怪的问题出现了。
生产环境 docker login 测试环境的 registry OK,但是反过来却不行,意味着无法做镜像同步。
一开始怀疑是有些特殊端口没通(只开放了80端口),联系运维的同学,把 ip 对 ip 的所有端口都开放了,还是失败了,抓包发现生产环境会主动断开连接,然后就返回503了。
然后查看日志,先查看测试环境登录生产环境成功的时候,日志是怎么报告的。
Nov 17 17:54:27 172.18.0.x proxy[22141]: 生产环境ip - "GET /v2/ HTTP/1.1" 401 76 "-" "docker/19.03.11 go/go1.13.10 git-commit/42e35e61f3 kernel/5.4.107-1.el7.elrepo.x86_64 os/linux arch/amd64 UpstreamClient(Docker-Client/19.03.11 x5C(linuxx5C))" 0.003 0.003 .
Nov 17 17:54:27 172.18.0.x proxy[22141]: 生产环境ip - "GET /service/token?account=admin&client_id=docker&offline_token=true&service=harbor-registry HTTP/1.1" 200 890 "-" "docker/19.03.11 go/go1.13.10 git-commit/42e35e61f3 kernel/5.4.107-1.el7.elrepo.x86_64 os/linux arch/amd64 UpstreamClient(Docker-Client/19.03.11 x5C(linuxx5C))" 0.028 0.028 .
Nov 17 17:54:27 172.18.0.x proxy[22141]: 生产环境ip - "GET /v2/ HTTP/1.1" 200 2 "-" "docker/19.03.11 go/go1.13.10 git-commit/42e35e61f3 kernel/5.4.107-1.el7.elrepo.x86_64 os/linux arch/amd64 UpstreamClient(Docker-Client/19.03.11 x5C(linuxx5C))" 0.008 0.008 .
从状态码看,会先有一个 401 然后再去拿 token,拿到 docker 之后再去 login,成功返回200,这才是正常的流程,也符合我们对 docker client 登录 registry 的印象,可以看看官方的图片。
然后再看登录失败的日志,也就是从生产环境去登录测试环境,日志如下。
Nov 17 17:56:30 172.18.0.x proxy[26421]: 测试环境ip - "GET /v2/ HTTP/1.1" 401 76 "-" "docker/19.03.11 go/go1.13.10 git-commit/42e35e61f3 kernel/5.4.107-1.el7.elrepo.x86_64 os/linux arch/amd64 UpstreamClient(Docker-Client/19.03.11 x5C(linuxx5C))" 0.003 0.002 .
惊讶的发现,一次登录的过程中,只记录到一条日志,也就是 401 状态码的那一条。那么从官方图中,大概可以判断,应该是3和4的链路有问题。
这里的意思是,正式环境的 dockerd 会去 auth service 去拿 token,此时再看看 dockerd 的日志。
Nov 18 00:27:08 szglbd dockerd[22141]: time="2021-11-18T00:27:08.146062335+08:00" level=error msg="Handler for POST /v1.40/auth returned error: Get http://正式环境ip/v2/: received unexpected HTTP status: 503 Service Unavailable"
Nov 18 00:27:15 szglbd dockerd[22141]: time="2021-11-18T00:27:15.894732084+08:00" level=info msg="Error logging in to v2 endpoint, trying next endpoint: Get https://harbor.com/v2/: dial tcp 测试环境ip:443: connect: connection refused"
这里很明显,就是正式环境的 dockerd 去访问 auth service 503 了。于是查看 docker info 查看代理信息,果然加了代理!导致请求被 HTTP_PROXY
转发了,所以本地的 dockerd 无法正常请求到 token,于是校验失败了,503则是代理服务器返回的状态码,最后去掉代理,整个流程就正常了。
简单验证一下请求被代理转发了,通过抓包就可以发现,请求 token 的请求被转发了。
相关文章
- 沉寂了一周,我开发了一个聊天室
- Debug模式和Release模式有什么区别你知道吗?
- 芯片上的大脑:英国科学家将类人脑干细胞编织在芯片上
- 数据治理≠数据管理≠数据资产管理,落地时才发现全理解错了……
- 如何使用Builder模式构建线程池
- 一篇文章带你了解SVG fill 属性
- Django网站实战——手把手带大家制作一个经典的网站
- 一份前端开发人员的架构样式指南,请查收!
- Go 泛型提案有望被接受,已进入"Likely Accept"状态
- 面试问了分布式锁,你会答吗?
- Docker正式将Docker Distribution贡献给CNCF
- 面试被问线程池,真香
- 图解:volatile 和原子类的异同
- 只用VMware开虚拟机?来了解一下更强大KVM虚拟化技术
- 三种Kubernetes资源类型的使用指南
- VS Code 中的 Vim 操作
- Redis 6 中的多线程是如何实现的 !
- 2021年前端发展预测
- 图解一致性哈希算法
- 基于IDEA插件开发和字节码插桩技术,实现研发交付质量自动分析