赶在下月Linux 7.4合并窗口开启前,一项用于从barn(谷仓) 重新填充预填充sheaf(缓存束) 的内存管理改动,已于本周并入slab/for-next Git分支。在部分场景下,该改动可让特定合成基准测试获得极大性能提升。
Sheaf是Linux内核内存分配器的基于数组的每CPU缓存层。自去年被引入内核以来,sheaf机制已历经大量迭代优化,而Linux 7.4版本还将引入更多相关优化工作。
针对这项从barn重新填充预填充sheaf的内存管理代码改动,开发者李浩解释道:
“当前,预填充API在填充未满的sheaf时,会从部分空闲的slab中取对象,绝不会取用barn内的满sheaf。这就导致一旦barn的满sheaf链表被占满,该状态就会一直持续。
对于通过
kfree_rcu()释放的对象,由于barn的满sheaf链表没有剩余空间,所有RCU相关的sheaf都必须被刷新回slab。为解决该问题,我们让sheaf优先从barn中获取对象完成填充,并在barn内引入一个部分填充sheaf,用于存放剩余的对象。
只有预填充路径需要用到这个部分填充sheaf。通用分配路径
__pcs_replace_empty_main()的逻辑是用空sheaf从barn中交换一个满sheaf,全程不会产生剩余对象。而预填充路径要填充的sheaf不一定是空的,从barn取对象时通常会有剩余,这些剩余对象就存放在这个新增的部分填充sheaf中。refill_sheaf()函数仅从部分空闲slab中取对象,完全不会涉及这个部分填充sheaf。填充sheaf的逻辑调整为:先从部分填充sheaf中复制对象,若目标sheaf仍未满,再从barn中取出一个满sheaf继续填充。被取走部分对象的源sheaf如果还有剩余对象,就继续留在barn中作为新的部分填充sheaf;如果对象已被取空,就移入空sheaf链表。整个过程中,正在被填充的目标sheaf不会被替换。
性能收益来自两方面:每取出一个满sheaf,就会在barn的满sheaf链表中腾出一个空位,用于后续存放RCU释放产生的sheaf;同时,在持有
list_lock锁的场景下,从barn完成填充的开销远低于从部分空闲slab填充的开销。”
打上该补丁后的基准测试结果显示,will-it-scale mmap1测试整体性能提升24%;其中barn_get性能暴涨22904539.81%,barn_put性能提升21422544.07%,其余指标相对基线普遍实现两位数百分比的性能提升。

Linuxeden开源社区