新用户注册入口 老用户登录入口

[转载]linux内存管理总结

文章作者:转载 更新时间:2023-02-26 20:46:17 阅读数量:230
文章标签:内存管理操作系统内核用户空间内存分配算法伙伴系统Slab机制
本文摘要:内存管理涉及操作系统内核及用户空间两层机制。在用户空间中,glibc的ptmalloc2虽为常用内存分配器,但性能逊色于tcmalloc和jemalloc,这两者通过减少碎片、优化多核并行性来提升效率。内核层面采用伙伴系统算法管理页框,有效避免内存碎片;同时,Slab机制针对小对象提供高效缓存式分配,减少内碎片。内核内存申请函数如kmalloc基于slab分配连续物理内存(≤128KB),而vmalloc则在虚拟内存中分配大块非连续内存。
转载文章

本篇文章为转载内容。原文链接:https://secdev.blog.csdn.net/article/details/109731954。

该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。

作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。

如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。

linux<a href='/index/search_1.html?term=内存管理' class='inline-keyword-link'>内存管理<i class='el-icon-search'></i></a>
内存管理可以分为三个层次,自底向上分别是:

  • 操作系统内核的内存管理
  • 用户空间lib库的内存管理算法
  • 应用程序从lib库申请内存后,根据应用程序本身的程序特性进行优化, 比如使用引用计数std::shared_ptr,内存池方式等等。

1. 用户空间内存管理

目前大部分用户控件程序使用glibc提供的malloc/free系列函数,而glibc使用的ptmalloc2在性能上远远弱后于google的tcmalloc和facebook的jemalloc。 而且后两者只需要使用LD_PRELOAD环境变量启动程序即可,甚至并不需要重新编译。

1.1 ptmalloc2

malloc是一个C库中的函数,malloc向glibc请求内存空间。glibc初始分配或者通过brk和sbrk或者mmap向内核批发内存,然后“卖”给我们malloc使用。

既然brk、mmap提供了内存分配的功能,直接使用brk、mmap进行内存管理不是更简单吗,为什么需要glibc呢?

因为系统调用,导致程序从用户态陷入内核态,比较消耗资源。为了减少系统调用带来的性能损耗,glibc采用了内存池的设计,增加了一个代理层,每次内存分配,都优先从内存池中寻找,如果内存池中无法提供,再向操作系统申请。

1.2 tcmalloc

tcmalloc 是google开发的内存分配算法库,用来替代传统的malloc内存分配函数,它有减少内存碎片,适用于多核,更好的并行性支持等特性。

要使用tcmalloc,只要将tcmalloc通过-ltcmalloc连接到应用程序即可。
也可以使用LD_PRELOAD在不是你自己编译的应用程序中使用:$ LD_PRELOAD="/usr/lib/libtcmalloc.so"

2. 内核空间内存管理

linux操作系统内核,将内存分为一个个页去管理。

2.1 页面管理算法–伙伴系统

在实际应用中,而频繁地申请和释放不同大小的连续页框,必然导致在已分配页框的内存块中分散了许多小块的空闲页框。这样,即使这些页框是空闲的,其他需要分配连续页框的应用也很难得到满足。

为了避免出现这种内存碎片,Linux内核中引入了伙伴系统算法(buddy system)。

2.1.1 Buddy(伙伴的定义)

满足以下三个条件的称为伙伴:
1)两个块大小相同;
2)两个块地址连续;
3)两个块必须是同一个大块中分离出来的;

2.1.2 Buddy算法的分配

假设要申请一个256个页框的块,先从256个页框的链表中查找空闲块,如果没有,就去512个页框的链表中找,找到了则将页框块分为2个256个页框的块,一个分配给应用,另外一个移到256个页框的链表中。如果512个页框的链表中仍没有空闲块,继续向1024个页框的链表查找,如果仍然没有,则返回错误。

2.1.3 Buddy算法的释放

内存的释放是分配的逆过程,也可以看作是伙伴的合并过程。页框块在释放时,会主动将两个连续的页框块合并为一个较大的页框块。

2.2 Slab机制

slab是Linux操作系统的一种内存分配机制。其工作是针对一些经常分配并释放的对象,如进程描述符等,这些对象的大小一般比较小,如果直接采用伙伴系统来进行分配和释放,不仅会造成大量的内碎片,而且处理速度也太慢。

而slab分配器是基于对象进行管理的,相同类型的对象归为一类(如进程描述符就是一类),每当要申请这样一个对象,slab分配器就从一个slab列表中分配一个这样大小的单元出去,而当要释放时,将其重新保存在该列表中,而不是直接返回给伙伴系统,从而避免这些内碎片。slab分配器并不丢弃已分配的对象,而是释放并把它们保存在内存中。当以后又要请求新的对象时,就可以从内存直接获取而不用重复初始化。

2.3 内核中申请内存的函数

2.3.1 __get_free_pages

__get_free_pages函数是最原始的内存分配方式,直接从伙伴系统中获取原始页框,返回值为第一个页框的起始地址.

2.3.2 kmem_cache_alloc

kmem_cache_create/ kmem_cache_alloc是基于slab分配器的一种内存分配方式,适用于反复分配释放同一大小内存块的场合。首先用kmem_cache_create创建一个高速缓存区域,然后用kmem_cache_alloc从 该高速缓存区域中获取新的内存块。

2.3.3 kmalloc

kmalloc是内核中最常用的一种内存分配方式,它通过调用kmem_cache_alloc函数来实现。

kmalloc() 申请的内存位于物理内存映射区域,而且在物理上也是连续的,它们与真实的物理地址只有一个固定的偏移,因为存在较简单的转换关系,所以对申请的内存大小有限制,不能超过128KB。
较常用的flags()有:

GFP_ATOMIC —— 不能睡眠;
GFP_KERNEL —— 可以睡眠;
GFP_DMA —— 给 DMA 控制器分配内存,需要使用该标志。

2.3.4 vmalloc

vmalloc() 函数则会在虚拟内存空间给出一块连续的内存区,但这片连续的虚拟内存在物理内存中并不一定连续。由于 vmalloc() 没有保证申请到的是连续的物理内存,因此对申请的内存大小没有限制,如果需要申请较大的内存空间就需要用此函数了。

注意vmalloc和vfree时可以睡眠的,因此不能从中断上下问调用。

一般情况下,内存只有在要被 DMA 访问的时候才需要物理上连续,但为了性能上的考虑,内核中一般使用 kmalloc(),而只有在需要获得大块内存时才使用 vmalloc()。例如,当模块被动态加载到内核当中时,就把模块装载到由 vmalloc() 分配的内存上。

本篇文章为转载内容。原文链接:https://secdev.blog.csdn.net/article/details/109731954。

该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。

作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。

如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。

相关阅读
文章标题:[转载][洛谷P1082]同余方程

更新时间:2023-02-18
[转载][洛谷P1082]同余方程
文章标题:[转载]webpack优化之HappyPack实战

更新时间:2023-08-07
[转载]webpack优化之HappyPack实战
文章标题:[转载]oracle 同时更新多表,在Oracle数据库中同时更新两张表的简单方法

更新时间:2023-09-10
[转载]oracle 同时更新多表,在Oracle数据库中同时更新两张表的简单方法
文章标题:[转载][Unity] 包括场景互动与射击要素的俯视角闯关游戏Demo

更新时间:2024-03-11
[转载][Unity] 包括场景互动与射击要素的俯视角闯关游戏Demo
文章标题:[转载]程序员也分三六九等?等级差异,一个看不起一个!

更新时间:2024-05-10
[转载]程序员也分三六九等?等级差异,一个看不起一个!
文章标题:[转载]海贼王 动漫 全集目录 分章节 精彩打斗剧集

更新时间:2024-01-12
[转载]海贼王 动漫 全集目录 分章节 精彩打斗剧集
名词解释
作为当前文章的名词解释,仅对当前文章有效。
伙伴系统在操作系统内存管理中,伙伴系统是一种用于分配连续物理内存页的算法。它将内存划分为大小相等的页框,并通过“伙伴”关系来合并或拆分空闲页框,以满足不同大小内存分配请求的需要。当一个进程请求一定数量的连续页框时,伙伴系统会尝试从相应大小的空闲页链表中查找可用资源,如果不足,则试图合并更大的空闲块,直到找到足够大的内存区域或返回错误。
Slab机制Slab是Linux内核实现的一种高效、针对小对象的内存分配策略。它预先分配和缓存特定类型对象的内存区域,确保对相同类型的对象分配快速且无碎片。Slab机制避免了频繁创建和销毁小对象带来的性能开销,同时减少了内部碎片。在内核中,slab通过创建高速缓存区域(kmem_cache)并从中分配和回收内存块来实现这一目标。
GFP_ATOMIC与GFP_KERNEL标志在Linux内核中,GFP_ATOMIC和GFP_KERNEL是内存分配函数中的标志参数,用于指定内存分配过程是否可以睡眠。GFP_ATOMIC表示在当前执行上下文中不允许睡眠,适用于中断处理程序和原子操作等关键路径,保证分配操作的不可阻塞性;而GFP_KERNEL则允许调用者在内存不足时进入等待状态,直至有足够的内存可用,常用于非中断上下文中的内存分配。这两个标志根据不同的场景选择,确保内核能够安全有效地进行内存分配。
延伸阅读
作为当前文章的延伸阅读,仅对当前文章有效。
随着计算机系统性能需求的不断提升,内存管理技术的研究与应用愈发关键。近期,Google的tcmalloc和Facebook的jemalloc因其高效的内存分配策略在业界持续引发关注。2023年初,有开发者在GitHub上发布了对这两种内存分配器在大规模数据处理场景下的对比评测报告,结果显示,在特定条件下,jemalloc能有效减少大对象分配时的延迟,而tcmalloc在小对象频繁分配回收的场景中表现更优。
而在操作系统内核层面,Linux内核社区正在积极改进伙伴系统算法以适应新兴硬件架构的需求,例如针对非均匀内存访问(NUMA)节点的优化,以及通过合并多个小页以减少内存碎片的技术探索。此外,Slab分配器也在不断迭代升级,新的研究指出,通过引入智能缓存替换策略,可以进一步降低slab分配器的内存浪费,提高整体系统的资源利用率。
同时,随着持久化内存、异构计算等新型硬件技术的发展,内存管理面临全新挑战。研究人员正尝试将传统内存管理模式与这些新技术相结合,如Intel Optane DC持久性内存的管理方案,以及针对GPU等加速设备的内存池设计,力求在保证高效的同时,最大限度地发挥新型硬件的潜力。
综上所述,无论是用户空间还是内核空间的内存管理,都处于一个快速演进和技术革新的阶段,对于软件开发者和系统工程师而言,紧跟最新的研究成果和最佳实践,无疑是提升系统性能和稳定性的关键所在。
知识学习
实践的时候请根据实际情况谨慎操作。
随机学习一条linux命令:
timeout duration command - 执行命令并在指定时间后终止它。
随便看看
拉到页底了吧,随便看看还有哪些文章你可能感兴趣。
可自定义logo的jQuery生成二维码插件 01-03 jquery每日签到日历插件 10-10 高度可定制的jQuery瀑布流网格布局插件 03-15 Consul中服务实例自动注销问题解析:健康检查、稳定性与Agent配置的影响及解决策略 01-22 怎么看mysql 的安装路径 12-31 jquery横向手风琴效果 12-23 蓝色数码电子产品销售HTML5网站模板 12-14 jQuery和CSS3汉堡包导航菜单打开动画特效 10-19 python模拟生存游戏 10-08 本次刷新还10个文章未展示,点击 更多查看。
jQuery.eraser-实现橡皮擦擦除功能的jquery插件 05-26 Netty中ChannelNotRegisteredException异常处理:理解原因与确保Channel注册状态的方法示例 05-16 响应式游戏开发类企业前端cms模板下载 05-02 精美的花甲美食网站HTML模板下载 03-09 soulmate粉色干净浪漫唯美婚礼单页响应式网站模板 03-07 Vue.js项目中proxyTable数据转发遭遇504错误:服务器响应时间与网络连接问题排查及解决方案 03-05 SpringCloud服务路由配置错误与失效:识别问题、排查步骤及组件解析这个涵盖了的核心内容,包括SpringCloud框架下的服务路由配置错误失效问题的识别,以及涉及到的服务注册中心、Gateway、Zuul等组件的功能解析和故障排查的具体步骤。同时,字数控制在了50个字以内,满足了要求。 03-01 css水平线长度设置 02-11 [转载]Proxy 、Relect、响应式 01-11 蓝色响应式软件营销代理公司网站静态模板 01-06 python正太分布校验 01-05
时光飞逝
"流光容易把人抛,红了樱桃,绿了芭蕉。"