用户您好!请先登录!

Linux 内存优化

Linux 内存优化

内存管理软件包括虚拟内存系统、地址转换、交换、换页和分配。与性能密切相关的内容包括:内存释放、空闲链表、页扫描、交换、进程地址空间和内存分配器。在Linux中,空闲链表通常由分配器消耗,如内核的slab分配器和SLUB,以及用户级分配器(glibc,linux系统)libmalloc、libumem和mtmalloc。

  • slab: 内核slab分配器管理特定大小的对象缓存,使他们能够被快速的回收利用,并且避免页分配的开销。适用于处理固定大小结构的内核内存分配。
  • slub: 基于slab分配器。它主要是解决slab分配器带来的问题,其中包括移除对象队列,以及每个CPU缓存,把NUMA优化留给页分配器。
  • glibc: 结合多种非配器策略的高效分配器,它基于分配请求的长度进行分配。较小的分配来自内存集合,包括用伙伴关系算法合并长度相近的单位。较大的分配用树高效地搜索空间。对于非常大的分配,会转到mmap()。

回收大多是从内核的slab分配器缓存释放内存。这些缓存包含slab大小的未使用内存块,以供充裕。内核页面换出守护进程管理利用换页释放内存。当主存中可用的空闲链表低于阈值时,页面换出守护进程会开始页扫描。页面换出守护进程被称作kswapd(),它扫描非活动和活动内存的LRU页列表以释放页面。它的激活基于空闲内存核两个提供滞后的阈值。一旦空闲内存达到最低阈值,kswapd运行于同步模式,按需求释放内存页。该最低阈值是可调的(vm.min_free_kbytes),并且其他阈值基于它按比例放大。

相关概念

  • 主存:物理内存,描述了计算机的告诉数据存储区域,通常是动态随机访问内存;
  • 虚拟内存: 抽象的主从概念,它几乎是无限的和非竞争性的;
  • 常驻内存:当前处于主存中的内存;
  • 匿名内存:无文件系统位置或者路径名的内存。它包括进程地址空间的工作数据,称作堆;
  • 地址空间:内存上下文。每个进程和内核都有对应的虚拟地址空间;
  • 页:操作系统和CPU使用的内存单位。它一直以来是4KB和8KB。现代的处理器允许多种页大小以支持更大的页面尺寸,以及更大的透明大页;
  • 缺页:无效的内存访问;
  • 换页:在主存与存储设备间交换页;
  • 交换:指页面从主从转移到交换设备(迁移交换页);
  • 交换(空间):存放换页的匿名数据和交换进程的磁盘空间;

进程地址空间是一段范围的虚拟页,由硬件和软件同事管理,按需映射到物理页。这些地址被划分为段以存放线程栈、进程可执行、库和堆。应用程序可执行段包括分离的文本和数据段。库也由分离的可执行文本和数据段组成。分别如下:

  • 可执行文本:包括可执行的进程CPU指令。由文件系统中的二进制应用程序文本映射而来。它是只读的并带有执行的权限。
  • 可执行数据:包括已初始化的变量,由二进制应用程序的数据段映射而来。有读写权限,因此这些变量在应用程序的运行过程中可以被修改。
  • 堆:应用程序的临时工作内存并且是匿名内存。它按需增长并且用mollac()分配。
  • 栈:运行中的线程栈,映射为读写。

对于内存而言,经常关注的信息如下:

  • 页扫描:寻找连续的页扫描(超过10秒),它是内存压力的预兆。可以使用sar -B并查看pgscan列。
  • 换页:换页是系统内存低的进一步征兆。可以使用vmstat 并查看si(换入) 和 so(换出)列。
  • 可用内存:查看和关注buffer和cache值;
  • OOM终结者:在系统日志/var/log/messages或者dmesg中查看,直接搜索”Out of memory”;
  • top/prstat:查看那些进程和用户是常驻物理内存和虚拟内存的最大使用者;
  • stap/perf:内存分配的栈跟踪,确认内存使用的原因;

如何快速定位内存故障?

  1. 首先应该检查饱和度(作为释放内存压力的衡量,页扫描、换页、交换和Linux OOM终结者牺牲进度的使用程度),因为持续饱和状态是内存问题的征兆。这些指标可以通过vmstat、sar、dmesg等操作系统工具轻易获得。对于配置了独立磁盘交换设备的系统,任何交换设备活动都是内存压力的征兆。
  2. 使用率(使用内存和可用内存,物理内存和虚拟内存都应该关注)通常较难读取和解读。比如一个系统可能会报告只有几十兆内存可用,但事实上它有10GB的文件系统缓存在,需要时立刻被应用程序回收利用。虚拟内存使用,这应该也是我们关注的一个点。
  1. 内存错误(Out of memory)一般都是由应用程序报告。

关于内存性能排查命令

  • vmstat
[root@zbredis-30104 ~]# vmstat
procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu-----
r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
0  0    0 14834208 158384 936512    0    0     0     0    1    3  0  0 100  0  0

 

提示:

swpd:交换处的内存量;
free:空闲的可用内存;
buff: 用户缓冲缓存的内存;
cache: 用于页缓存的内存;
si: 换入的内存(换页);
so:换出的内存(换页);

如果si 和 so列一直非0,那么系统正存在内存压力并换页到交换设备或文件。经常使用参数为”vmstat 1 -Sm”和”vmstat -a 1″;

  • sar

  -B: 换页统计信息;

-H: 大页面统计信息
-r: 内存使用率
-R:内存统计信息
-S:交换空间统计信息
-W:交换统计信息

  • slabtop

通过slab分配器实时输出内核slab缓存使用情况;

[root@localhost ~]# slabtop -sc
Active / Total Objects (% used)    : 297064 / 300262 (98.9%)
Active / Total Slabs (% used)      : 6638 / 6638 (100.0%)
Active / Total Caches (% used)     : 66 / 96 (68.8%)
Active / Total Size (% used)       : 80612.41K / 81749.09K (98.6%)
Minimum / Average / Maximum Object : 0.01K / 0.27K / 8.00K
OBJS ACTIVE  USE OBJ SIZE  SLABS OBJ/SLAB CACHE SIZE NAME                  
7648   7528  98%    2.00K    478     16     15296K kmalloc-2048
65142  65142 100%    0.19K   1551    42     12408K dentry
17985  17985 100%    0.58K    327    55     10464K inode_cache
7110   7110 100%    1.06K    237     30  7584K xfs_inode
10880  10160  93%    0.50K    170    64  5440K kmalloc-512
30564  30564 100%    0.11K    849    36  3396K sysfs_dir_cache

 

输出包括顶部的汇总和slab列表。其中包括对象数量(OBJS)、多少是活动的(ACTIVE)、使用百分比(USE)、对象大小(OBJ SIZE,字节)和缓存大小(CACHE SIZE,字节)。

  • ps

  可以列出包括内存使用统计信息在内的所有进程细节;

%MEM: 主存使用(物理内存、RSS)占总内存的百分比;
RSS:常驻集合大小;
VSZ: 虚拟内存大小;

提示:RSS显示主存使用,它也包括如系统库在内的映射共享段,可能会被几十个进程共享。如果你把RSS列求和,会发现她超过系统内存总和,这是由于重复计算了这部分共享内存。

  • pmap
[root@localhost ~]# pmap -x 1096
1096:   /usr/sbin/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mysqld.log --pid-file=/var/run/mysqld/mysqld.pid --socket=/var/lib/mysql/mysql.sock
Address           Kbytes     RSS   Dirty Mode  Mapping
0000000000400000   11960    3468       0 r-x-- mysqld
00000000011ae000     668     240     172 r---- mysqld
0000000001255000    1028     364     208 rw--- mysqld
0000000001356000     340     312     312 rw---   [ anon ]
0000000001887000    7508    7344    7344 rw---   [ anon ]
...省略部分...
00007ffc659e9000     132      72      72 rw---   [ stack ]
00007ffc65ba1000       8       4       0 r-x--   [ anon ]
ffffffffff600000       4       0       0 r-x--   [ anon ]
---------------- ------- ------- -------
total kB          961172  121756  116468

 

内存优化

首先关于内核优化的相关参数

vm.dirty_background_bytes:默认值为0, 触发pdflush后台回写的脏存储器量;

vm.dirty_background_ratio:默认值10, 触发pdflush后台回写脏系统存储器百分比;
vm.dirty_bytes:默认值为0,触发一个写入进程开始回写的脏存储器量;
vm.dirty_ratio:默认值为20,触发一个写入进程开始回写的脏系统存储器比例;
vm.dirty_expire_centisecs:默认值为3000,使用pdflush的脏存储器最小时间;
vm.dirty_writeback_centisecs:默认值为500,pdflush活跃时间间隔(0为停用);
vm.min_free_kbytes:默认值为 dynamic,设置期望的空闲存储器量(一些内核自动分配器能消耗它);
vm.overconmmit_memory:默认值为0,0表示利用探索法允许合理的国度分配;1表示一直国度分配;3表示禁止国度分配;
vm.swappiness:默认值为60,相对于页面高速缓存回收更倾向用交换释放存储器的程度;
vm.vfs_cache_pressure:默认值为100,表示回收高速缓存的目录和inode对象的程度。较低的值会保留更多;0意味着从不回收,容器导致存储器耗尽的情况;

行走的code
行走的code

要发表评论,您必须先登录