zl程序教程

您现在的位置是:首页 >  硬件

当前栏目

Elasticsearch调优篇 10 - elasticsearch为什么只能分配最大内存32G

内存elasticsearch 10 为什么 最大 分配 只能
2023-09-27 14:26:23 时间

  不分配大内存给 Elasticsearch,事实上 jvm 在内存 < 32G 的时候会采用一个:内存对象指针压缩技术

  需要明白:不一定是 32GB,一般 linux 系统上都是介于 (31, 32),所以为了安全起见我们统一都可以设置为 31GB。

  在 java 中,所有的对象都分配在堆上,然后有一个指针引用它。指向这些对象的指针大小通常是CPU的字长大小,不是 32bit 就是 64bit,这取决于你的处理器,指针指向了你的值的精确位置。

  对于32位系统,内存最大可使用4G。

  64系统可以使用更大的内存。但是64位的指针意味着更大的浪费,因为你的指针本身大了。浪费内存不算,更糟糕的是,更大的指针在主内存 和 缓存器之间移动数据的时候,会占用更多的带宽。

  java 使用一个叫内存指针压缩的技术来解决这个问题。

  它的指针不再表示对象在内存中的精确位置,而是表示偏移量这意味着32位的指针可以引用40亿个对象,而不是40亿个字节。最终,也就是说堆内存长到32G的物理内存,也可以用 32bit 的指针表示。

  一旦你越过那个神奇的 30-32G 的边界,指针就会切回普通对象的指针,每个对象的指针都变长了,就会使用更多的 CPU、内存、带宽,也就是说你实际上失去了更多的内存。

  事实上当内存到达40-50GB的时候,有效内存才相当于使用内存对象指针压缩技术时候的32G内存。

  结论就是:即便你有足够的内存,也尽量不要超过32G,因为它浪费了内存,降低了CPU的性能,还要让GC应对大内存。