可能影响容器化应用程序的cgroup内存管理问题
近日,LinkedIn工程团队发表了一篇题为“不要让Linux控制组不受控制地运行”的文章。控制组(cgroup)是Linux的一项特性,像Docker和CoreOS这样的项目使用该特性限制进程的资源使用。该文概括地介绍了cgroup在内存管理方面存在的几个可能导致性能退化的问题以及可能的解决方案。
Cgroup是一种可以确保应用程序使用的资源不超出限额的机制,但不保证隔离性。一个操作系统实例中可以运行多个cgroup,其中每一个所使用的内存、CPU等都有不同的限额。不过,当有额外的内存需求(文章作者称之为“内存压力”)时,操作系统的行为可能会导致在cgroup中运行的应用程序出现意料之外的不良结果。
Cgroup是按层次组织的,操作系统在“根”cgroup中运行,其他cgroup都是根cgroup的子节点。例如,Docker容器会运行在根cgroup的一个子cgroup中。
该文探讨的问题涉及“匿名内存”和“页面缓存”,前者是程序请求的内存,后者用来存储程序数据的缓存版本。通常,这些数据是保存在类似硬盘这样的永久性存储上,供程序执行时使用。缓存用于提高那些数据的访问速度。这两种内存类型的分配总是可以被根cgroup或操作系统作废。
当主存可用时,操作系统会将页面缓存加载到RAM,但当应用程序请求额外的内存时,它会回收内存。内存回收会导致页面缓存被删除,这是跨cgroup的,因为在这种情况下,OS不会遵守cgroup自己的设置。这可能导致cgroup的页面缓存被回收,影响了应用程序的性能。
当通过回收页面缓存满足了cgroup的内存需求时,另一个问题出现了。用于存储页面缓存的内存是cgroup内存限额的一部分。因此,如果cgroup(在Docker环境里,则是容器)分得了8GB内存,则它需要将这8GB的空间同时用于页面缓存和匿名内存。这一点很容易忽视,因而可能会导致错误的性能预期。
当需要的主存超过系统可用的内存时,操作系统会执行交换操作,将存储在主存中的程序数据写入辅存,如硬盘。操作系统可以从任意子cgroup把用户内存交换出去,导致那些组中的应用程序性能退化。
对于这些问题,文章作者提出了几项建议,其中包括“预触(pre-touching)”内存,即确保内存在进程启动时分配,而不是在程序请求时。在不同的平台上,具体的做法也不相同。另外,也可以更好地估计应用程序的内存占用,那样,内存分配就可以更准确。页面缓存不容易估计,但匿名内存很容易。匿名内存可以通过类似驻留集大小(RSS)这样的系统指标来估计。
新版本的cgroup已经发布。该版本包含若干改进,但尚未针对这些情况进行测试。
本文转自d1net(转载)
如何合理使用 CPU 管理策略,提升容器性能? CPU Burst、拓扑感知调度是阿里云容器服务 ACK 提升应用性能的两大利器,它们解决了不同场景下的 CPU 资源管理,可以共同使用。点击下文,查看详情!
长文解析:作为容器底层技术的半壁江山, cgroup如何突破并发创建瓶颈? io_uring 作为一种新型高性能异步编程框架,代表着 Linux 内核未来的方向,当前仍处于快速发展中。阿里云联合 InfoQ 发起《io_uring 介绍及应用实践》的技术公开课,围绕 OpenAnolis 龙蜥社区 Anolis OS 8 全方位解析高性能存储场景。
cgroups 是Linux内核提供的一种可以限制单个进程或者多个进程所使用资源的机制,可以对 cpu,内存等资源实现精细化的控制,目前越来越火的轻量级容器 Docker 就使用了 cgroups 提供的资源限制能力来完成cpu,内存等部分的资源控制。
相关文章
- static的使用场景、静态内存的申请
- Docker 系列(八):限制容器CPU与内存
- 脏内存导致BUG的问题
- 最简单的 Java内存模型讲解
- Instruments指南:如何调试内存泄露
- 一次完整的JVM堆外内存泄漏故障排查记录
- Zabbix报告无交换内存主机 Lack of free swap space on xxxxx
- Android内存性能优化(内部资料总结)
- 【刷题】java会不会内存泄漏
- Docker详解(十三)——Docker容器的内存和磁盘I/O限制配置
- golang gopsutil库的使用:进程和系统资源监控(CPU 内存 磁盘等)
- Memcached缓存大数据时对服务器内存、CPU的影响及其对硬件的配置需求
- 【动画图文深度详解】内存映射文件 mmap 原理深度剖析
- 【Linux 内核 内存管理】物理内存组织结构 ④ ( 内存区域 zone 简介 | zone 结构体源码分析 | zone 结构体源码 )
- VoltDB公布4.0版本号,大步提高内存实时分析速度,进军操作数据库市场
- 十八、数据容器、数据访问宽度、端口(计算机对数据处理方式:读取、写入、运算;数据可存放三个地方:CPU内部、内存、端口)
- 【云原生】监视Docker桌面的容器内存和CPU使用情况
- JVM 在容器环境的内存配置
- 内存 解决k8s集群环境内存不足导致容器被kill问题
- 容器进程调度时,是该优先考虑 CPU 资源还是内存资源?