build_all_zonelists()是内核中zonelist 构建的统一入口函数,负责在系统启动和内存热插拔两种场景下,为 NUMA 节点建立内存分配时的 zone 尝试顺序。
核心作用与定位
zonelist 决定了分配内存时按什么顺序尝试各个 zone 和节点。build_all_zonelists()根据当前系统状态分派到不同的构建路径,并处理 CPU 热插拔相关的状态。
函数签名与__ref
void __ref build_all_zonelists(pg_data_t *pgdat)
__ref:告诉链接器,这个函数有意引用__init/__meminit代码,不要报警告。因为它会调用build_all_zonelists_init()(__init),而自身可能在热插拔时(非__init上下文)被调用。
核心实现
void __ref build_all_zonelists(pg_data_t *pgdat) { if (system_state == SYSTEM_BOOTING) { build_all_zonelists_init(); } else { __build_all_zonelists(pgdat); /* 如果 zonelist 顺序变为 Node order,可能需要调整 */ #ifdef CONFIG_MEMORY_HOTPLUG if (zonelist_order == ZONELIST_ORDER_NODE) node_load[pgdat->node_id] = 0; #endif } #ifdef CONFIG_MEMORY_HOTPLUG /* 检查节点是否只有 movable 内存 */ if (node_state(pgdat->node_id, N_ONLINE) && is_memoryless_node(pgdat->node_id)) ... #endif /* 序列锁:通知并发读者 zonelist 已更新 */ write_seqlock(&zonelist_update_seq); ... write_sequnlock(&zonelist_update_seq); }(具体实现随版本,以下是核心逻辑的梳理。)
分派逻辑
1. 启动阶段(SYSTEM_BOOTING)
if (system_state == SYSTEM_BOOTING) { build_all_zonelists_init(); }调用前面讲过的
build_all_zonelists_init()(__init)。该函数调
__build_all_zonelists(NULL)构建所有在线节点的 zonelist,并初始化 boot pageset。执行完函数体后,
__init段内存被释放。
2. 非启动阶段(内存热插拔等)
else { __build_all_zonelists(pgdat); ... }直接调用
__build_all_zonelists(pgdat),只构建指定节点的 zonelist。此时 per-CPU 分配器已就绪,不需要额外的 boot pageset 初始化。
与 seqlock 的交互
build_all_zonelists()在修改 zonelist 前后,会用zonelist_update_seqseqlock保护:
write_seqlock(&zonelist_update_seq); /* 修改 zonelist */ write_sequnlock(&zonelist_update_seq);
前面讲过的
zonelist_iter_begin()/check_retry_zonelist():分配路径遍历 zonelist 时,用 seqlock 检测并发修改。写者(本函数)持有写锁,递增序列号,让读者知道"zonelist 变了,需要重试"。
这保证了分配路径在遍历 zonelist 时不会因并发热插拔而访问到不一致的状态。
历史演进
2016 年(Mel Gorman / Vlastimil Babka):
引入
zonelist_update_seqseqlock,解决内存热插拔与分配路径的 use-after-free 问题。此前,
build_all_zonelists()替换 zonelist 时,并发分配可能持有旧指针,导致访问已释放内存。
2017 年(Michal Hocko):
重构
build_zonelists_node()→build_zonerefs_node(),移除索引参数。引入
node_order预计算,避免消费者看到空 zonelist。
2020 年:
Mel Gorman 指出迭代
MAX_NUMNODES浪费,引入nr_nodes参数。
在初始化流程中的位置
start_kernel() └── build_all_zonelists(NULL) // 启动阶段 └── system_state == SYSTEM_BOOTING └── build_all_zonelists_init() └── __build_all_zonelists(NULL) memory hotplug / CPU hotplug └── build_all_zonelists(pgdat) // 热插拔阶段 └── __build_all_zonelists(pgdat)
总结
build_all_zonelists()是 zonelist 构建的统一入口:它根据system_state分派——启动阶段走build_all_zonelists_init()(__init,函数体之后卸载),热插拔阶段走__build_all_zonelists(pgdat)(只构建指定节点);它通过zonelist_update_seqseqlock 通知并发读者,确保分配路径在遍历 zonelist 时不会因热插拔修改而访问不一致状态。__ref属性让它能安全引用__init代码。