京东如何从OpenStack迁移至Kubernetes

中国最大电商公司之一的京东，最近分享了自己通过Kubernetes对基于应用程序容器的基础架构进行革新，取代OpenStack托管的IaaS基础架构过程中所获得的经验。本次迁移同时涉及内部网络组件，借此可将资源利用率提高30%。

在采用应用程序容器技术之前，京东的基础架构部署经历了两个阶段：物理机（2004 – 2014）以及操作系统容器（2014 – 2016）。第一阶段主要使用手工管理的裸机硬件，但这一阶段遇到了很多问题，例如上线前的准备时间过长（从分配到应用程序上线约需要一周时间），缺乏隔离机制，资源利用率不足，调度机制不够灵活。计算机失败后往往需要花费数小时迁移应用，且缺乏自动缩放能力。工程团队针对日志收集、自动化部署、编译和打包，以及资源监视等常用任务开发了内部工具。

京东基础架构的第二阶段开始采用容器技术。当时使用了操作系统容器，这意味着需要将现有应用程序和部署架构整体迁入容器中。当时的容器可以看作是对他们原本采用的物理机进行精简后一种运行速度更快的“物理机”，并未采用已经完全成熟的“容器哲学”。

尽管如此，通过采用容器技术，他们已经在第二阶段从时间和资源的使用率方面获得了巨大的收益。当时他们使用OpenStack作为编排层，并使用nova Docker驱动实现容器的管理。该团队选择Docker作为自己的容器平台，并逐渐向其中增添新的功能。所有应用陆续迁移到容器中，借此将计算资源请求的实现时间从原本的一周缩短至几分钟。应用程序的平均部署密度和物理机的利用率提升了三倍。该团队还针对部署任务构建了统一的API，公司内部将其称之为JDOS（JD Datacenter Operating System）1.0。

他们基于OpenStack的平台通过一个群集承载了大约4000至10000个计算节点。截至2016年11月，京东团队共运行了将近150,000个容器。这个平台帮助他们顺利度过了两次大流量在线促销活动，包括2016年双十一活动，共完成大约3千万个订单。

在第二阶段迁移至容器技术后，该工程团队已经可以对部署架构进行改动，使用容器作为基本的部署单位。公司内部将其称之为JDOS 2.0。这个方法关注的并非基础架构本身的管理，而在于可感知应用程序的容器管理。他们的平台设计包含两个抽象：系统和应用程序。一个“系统”可包含多个“应用程序”，每个应用程序可包含多个提供相同服务的Pod。一个系统对应着一个Kubernetes名称空间。

其他组件还包括部署流程和容器化的DevOps工具，这些内容均部署在Kubernetes管理的平台上，此外还包括Gitlab、Jenkins、Logstash、Harbor、Elasticsearch，以及Prometheus。部署过程中，源代码和Dockerfile会被推送至代码库和Jenkins构建。Jenkins被配置为主从模式，其中从节点负责构建和打包应用程序，此外还有一个类似的节点负责构建容器映像。他们使用了Harbor这一开源的Docker注册表存储所创建的映像。

图片来源：http://blog.kubernetes.io/2017/02/inside-jd-com-shift-to-kubernetes-from-openstack.html

为了在Kubelets和OpenStack Neutron之间实现更好的集成，京东根据Container Networking Interface标准自行开发了一个名为Cane的解决方案。在创建、删除或修改Kubernetes负载均衡器后，Cane可以通知Neutron负载均衡即服务（LBaaS）系统。此外他们通过在Cane内部运行的Hades组件为Pod提供内部的DNS解析服务。

 

  

本文转自d1net（转载）

浅谈基于 OpenStack 和 k8s 建设云原生研发基础设施 建设公司云原生研发基础设施，为研发部门提供安全、可靠、高效的基础资源、数据存储服务、DevOps 流水线以及运维自动化服务等。
为了让开发人员保持快乐，电子商务公司eBay开发了一个框架，用于在其大规模OpenStack云上部署容器。 eBay云计算基础设施和平台高级总监Suneet Nandwani表示，从eBay云计划的第一天起，该电子商务公司就一直致力于保持开发人员的快乐。
IT专家们谈OpenStack和Kubernetes的未来 一位来自451 Research的分析师Carl Brooks表示：“如果你正确构建了运营云，并使用像K8s这样的容器技术，将会使它变得更加可行。 Brooks说，这对OpenStack私有云构建来说很重要。
OpenStack与Kubernetes融合架构下的优化实践 如果你想使用Kubernetes来构建你的应用程序环境，通过OpenStack来部署Kubernetes其架构是一种推荐的方式，本文将与大家分享Kubernetes在OpenStack上的编排方式与其优化方法。
利用 Kuryr 整合 OpenStack 与 Kubernetes 网络 Kubernetes Kuryr 是 OpenStack Neutron 的子项目，其主要目标是通过该项目来整合 OpenStack 与 Kubernetes 的网络。该项目在 Kubernetes 中实作了原生 Neutron-based 的网络，因此使用 Kuryr-Kubernetes 可以让你的 OpenStack VM 与 Kubernetes Pods 能够选择在同一个子网上运作，并且能够使用 Neutron 的 L3 与 Security Group 来对网络进行路由，以及阻挡特定来源 Port。
如何用Ansible部署Kubernetes集群到OpenStack 最近的Austin OpenStack峰会上，参会者中对容器感兴趣的人数之多，让我印象深刻。几乎所有跟容器相关的会议现在都意识到了它的优点。通过将应用程序容器化，就能够将主机操作系统虚拟化。这也就意味着，你可以在主机操作系统中为每个容器创建隔离环境，比如文件系统，网络堆栈和进程空间，令容器之间互相可见。
教程get | K8S部署OpenStack容器云（下） 如何借助OpenStack Kolla-K8S项目，通过K8S对OpenStack进行容器化部署？并最终部署一套All-In-One类型的OpenStack容器云？让我们继续部署： 部署kolla-kubernetes ■  覆盖默认的RBAC设置 通过kubectl replace命令进行默.
  目前在 OpenStack 上部署 Kubernetes 有多种方式，本文会先简要描述每种方案，再使用图标进行简单的对比，并尝试给出个人认为的较优方案。