1 一个反直觉的性能实验几年前我在做一个多线程计数器模块的性能优化时遇到了一个令人困惑的现象两个线程分别对两个完全独立的变量做自增操作理论上它们之间不存在任何数据依赖性能应当与单线程各自运行无异。然而实测结果却显示双线程版本的耗时几乎是单线程的两倍。更诡异的是当我把这两个变量的内存地址拉开一段距离之后性能立刻恢复正常。两个互不相关的变量仅仅因为在内存中 挨得太近就导致了数倍的性能退化。这不是玄学而是 CPU 缓存体系给我们开的一个经典玩笑 —— 它的名字叫False Sharing中文常译为伪共享。2 CPU 缓存体系理解问题的前提要理解 False Sharing必须先理解现代 CPU 的缓存工作方式。这部分内容在计算机体系结构课程中通常会讲但很多开发者在实际工程中并未真正将其内化为直觉。2.1 缓存行数据搬运的最小单位CPU 与主存之间的数据交换并不是以单个字节为单位进行的。无论你需要读取 1 个字节还是 8 个字节CPU 都会以缓存行Cache Line为最小单位将一整块连续内存搬入缓存。在绝大多数现代 x86 架构处理器上一个缓存行的大小是 64 字节。这意味着当你的程序访问地址 0x1000 处的一个 int 变量时CPU 实际上会把 0x1000 到 0x103F 这整整 64 字节全部加载到 L1 缓存中。如果恰好有另一个变量位于 0x1020它也会 顺便 被带入同一条缓存行。这个设计在单线程场景下是合理的 —— 空间局部性原理告诉我们程序大概率会接着访问相邻地址的数据。但在多线程场景下这个 顺便 就成了麻烦的根源。2.2 MESI 协议多核一致性的代价现代 CPU 是多核的每个核心拥有自己独立的 L1、L2 缓存。当多个核心同时持有同一份数据的缓存副本时如何保证一致性答案是缓存一致性协议最经典的就是 MESI 协议。MESI 将每条缓存行标记为四种状态之一Modified已修改该缓存行已被当前核心修改与主存不一致且是唯一副本。Exclusive独占该缓存行与主存一致且是唯一副本。Shared共享该缓存行与主存一致但多个核心可能同时持有副本。Invalid无效该缓存行已失效不可使用。关键规则是当某个核心要写入一条缓存行时必须先使其他核心中该缓存行的副本变为 Invalid 状态。这个 使失效 的操作需要通过总线或互联网络向其他核心发送消息其他核心收到后必须丢弃自己缓存中的对应行。这就是 False Sharing 的性能代价所在 ——即使两个线程写的是完全不同的变量只要这两个变量落在同一条缓存行内每次写入都会触发缓存行的失效与重新加载形成所谓的缓存行乒乓Cache Line Bouncing。3 False Sharing 的本质3.1 什么是 False SharingFalse Sharing 的定义很简洁两个或多个线程访问的是逻辑上完全独立的数据但这些数据恰好位于同一条缓存行中导致缓存一致性协议被不必要地触发从而产生严重的性能退化。注意 伪 这个字 —— 线程之间并没有真正共享数据它们各自操作各自的变量从程序语义上看毫无关联。是缓存行的粒度太粗把本不相关的数据 绑定 在了一起。3.2 为什么 伪 共享比真共享更隐蔽真正的数据竞争Data Race至少能通过逻辑分析或工具检测发现。而 False Sharing 的特点是程序逻辑完全正确不存在任何 bug用 ThreadSanitizer 等工具检测不出任何问题性能退化幅度与硬件缓存行大小、变量在内存中的布局强相关换个编译器、换个优化等级现象可能就消失了在小规模测试中往往表现正常只有在高并发、高频写入的场景下才会暴露。这使得它成为一类极难定位的 隐形性能杀手。4 代码实战从问题到解决下面用 C 写一个完整的对比实验直观展示 False Sharing 的影响以及解决方法。4.1 复现问题#include thread #include chrono #include iostream #include vector // 场景一两个计数器紧邻排列大概率落在同一缓存行 struct CountersBad { long long counter_a; long long counter_b; }; // 场景二通过填充将两个计数器隔离到不同缓存行 struct CountersGood { alignas(64) long long counter_a; // 强制 64 字节对齐 char padding[64 - sizeof(long long)]; // 填充至占满一整条缓存行 alignas(64) long long counter_b; }; template typename T double run_benchmark(T counters, int iterations) { auto start std::chrono::high_resolution_clock::now(); std::thread t1([]() { for (int i 0; i iterations; i) { counters.counter_a; } }); std::thread t2([]() { for (int i 0; i iterations; i) { counters.counter_b; } }); t1.join(); t2.join(); auto end std::chrono::high_resolution_clock::now(); return std::chrono::durationdouble, std::milli(end - start).count(); } int main() { const int ITERATIONS 100000000; CountersBad bad; CountersGood good; double time_bad run_benchmark(bad, ITERATIONS); double time_good run_benchmark(good, ITERATIONS); std::cout 无填充False Sharing: time_bad ms\n; std::cout 有填充已隔离: time_good ms\n; std::cout 性能差距: (time_bad / time_good) x\n; return 0; }在我的测试机上Intel Core i7-12700H典型的输出结果是无填充False Sharing: 1842.37 ms 有填充已隔离: 412.56 ms 性能差距: 4.47x接近 4.5 倍的性能差距仅仅因为两个 long long 变量在内存中是否相邻。代码的核心逻辑很简单两个线程各自对一个计数器做一亿次自增。CountersBad 中两个计数器紧邻排列几乎必然落在同一条 64 字节缓存行内CountersGood 通过 alignas(64) 和手动填充确保两个计数器各自独占一条缓存行。4.2 缓存行填充上面的代码已经展示了最经典的解法 ——填充Padding。核心思路是在共享结构体中为每个会被不同线程频繁写入的字段预留足够的空间使其独占一条完整的缓存行。填充的字节数取决于目标平台的缓存行大小。x86 和 ARM 主流平台通常是 64 字节但并非绝对。Linux 下可以通过以下命令查询getconf LEVEL1_DCACHE_LINESIZE4.3 语言层面的原生支持手动填充虽然有效但写起来繁琐且容易出错。好消息是现代语言和标准库已经提供了更优雅的方案。C17 的 std::hardware_destructive_interference_size#include new // C17 struct Counters { alignas(std::hardware_destructive_interference_size) long long counter_a; alignas(std::hardware_destructive_interference_size) long long counter_b; };这个常量的语义是 保证两个对象不会落在同一缓存行所需的最小对齐值由编译器根据目标平台自动确定。不过实际支持情况参差不齐GCC 和 Clang 的实现进度不一使用时需留意编译器版本。Go 语言的做法Go 标准库中大量使用了手动填充来规避 False Sharing。以 sync.Pool 为例其内部结构 poolLocal 的定义中有一个 pad 字段type poolLocalInternal struct { private interface{} shared poolChain } type poolLocal struct { poolLocalInternal // 防止 false sharing将每个 poolLocal 填充到 128 字节 pad [128 - unsafe.Sizeof(poolLocalInternal{})%128]byte }Go 选择 128 字节而非 64 字节是为了兼容某些缓存行为 128 字节的平台如部分 ARM 处理器和 IBM POWER 系列。这种防御性设计值得在高性能库的开发中借鉴。Java 的 Contended 注解Java 8 引入了 sun.misc.Contended后迁移为 jdk.internal.vm.annotation.ContendedJVM 会自动为被标注的字段添加填充Contended class MyCounter { volatile long value; }需要注意的是该注解默认仅对 JDK 内部类生效普通用户代码需要添加 JVM 参数 -XX:-RestrictContended 才能启用。5 工程实践中的思考5.1 什么时候该关注 False Sharing并非所有多线程程序都需要担心这个问题。根据我的经验以下场景值得警惕高频写入的共享结构体如计数器、统计指标、无锁队列的头尾指针等。如果多个线程频繁修改同一结构体中的不同字段且该结构体较小小于 64 字节大概率会触发 False Sharing。数组元素的并行处理将一个大数组分片给多个线程处理时如果数组元素较小如 int相邻线程处理的边界元素可能落在同一缓存行。性能敏感的热路径在已经排除了算法层面瓶颈之后如果性能仍然不符合预期False Sharing 是一个值得排查的方向。反过来说如果数据是只读的或者写入频率很低比如每秒几次那么缓存行乒乓带来的开销完全可以忽略不必过度优化。5.2 从 Go 标准库看防御性设计Go 标准库在 False Sharing 的防御上做得相当系统化。除了前面提到的 sync.Pool还有几个典型案例sync.Mutex 的内部结构经过精心设计确保高频竞争的字段不会与低频字段共享缓存行runtime 包中的 mcache每个 P 的内存分配缓存同样使用了 128 字节对齐netpoll 中的相关结构也做了类似处理。这些设计背后的哲学是在基础设施层面宁可浪费几十字节的内存也不要让使用者在不知情的情况下踩入性能陷阱。对于编写高性能基础库的开发者来说这是一种值得学习的态度。6 总结False Sharing 是一个典型的 底层知识决定上层性能 的案例。它不涉及任何算法或逻辑错误纯粹是硬件缓存机制与软件内存布局之间的 误会。理解它需要你对 CPU 缓存行的工作方式有清晰的认知解决它手段并不复杂但前提是你得意识到它的存在。在日常开发中我的建议是不必时刻紧绷神经去防备它但在编写高性能并发组件时养成 这个结构体会不会被多个线程同时写 的审视习惯往往能在问题出现之前就将其化解。
1 一个反直觉的性能实验几年前我在做一个多线程计数器模块的性能优化时遇到了一个令人困惑的现象两个线程分别对两个完全独立的变量做自增操作理论上它们之间不存在任何数据依赖性能应当与单线程各自运行无异。然而实测结果却显示双线程版本的耗时几乎是单线程的两倍。更诡异的是当我把这两个变量的内存地址拉开一段距离之后性能立刻恢复正常。两个互不相关的变量仅仅因为在内存中 挨得太近就导致了数倍的性能退化。这不是玄学而是 CPU 缓存体系给我们开的一个经典玩笑 —— 它的名字叫False Sharing中文常译为伪共享。2 CPU 缓存体系理解问题的前提要理解 False Sharing必须先理解现代 CPU 的缓存工作方式。这部分内容在计算机体系结构课程中通常会讲但很多开发者在实际工程中并未真正将其内化为直觉。2.1 缓存行数据搬运的最小单位CPU 与主存之间的数据交换并不是以单个字节为单位进行的。无论你需要读取 1 个字节还是 8 个字节CPU 都会以缓存行Cache Line为最小单位将一整块连续内存搬入缓存。在绝大多数现代 x86 架构处理器上一个缓存行的大小是 64 字节。这意味着当你的程序访问地址 0x1000 处的一个 int 变量时CPU 实际上会把 0x1000 到 0x103F 这整整 64 字节全部加载到 L1 缓存中。如果恰好有另一个变量位于 0x1020它也会 顺便 被带入同一条缓存行。这个设计在单线程场景下是合理的 —— 空间局部性原理告诉我们程序大概率会接着访问相邻地址的数据。但在多线程场景下这个 顺便 就成了麻烦的根源。2.2 MESI 协议多核一致性的代价现代 CPU 是多核的每个核心拥有自己独立的 L1、L2 缓存。当多个核心同时持有同一份数据的缓存副本时如何保证一致性答案是缓存一致性协议最经典的就是 MESI 协议。MESI 将每条缓存行标记为四种状态之一Modified已修改该缓存行已被当前核心修改与主存不一致且是唯一副本。Exclusive独占该缓存行与主存一致且是唯一副本。Shared共享该缓存行与主存一致但多个核心可能同时持有副本。Invalid无效该缓存行已失效不可使用。关键规则是当某个核心要写入一条缓存行时必须先使其他核心中该缓存行的副本变为 Invalid 状态。这个 使失效 的操作需要通过总线或互联网络向其他核心发送消息其他核心收到后必须丢弃自己缓存中的对应行。这就是 False Sharing 的性能代价所在 ——即使两个线程写的是完全不同的变量只要这两个变量落在同一条缓存行内每次写入都会触发缓存行的失效与重新加载形成所谓的缓存行乒乓Cache Line Bouncing。3 False Sharing 的本质3.1 什么是 False SharingFalse Sharing 的定义很简洁两个或多个线程访问的是逻辑上完全独立的数据但这些数据恰好位于同一条缓存行中导致缓存一致性协议被不必要地触发从而产生严重的性能退化。注意 伪 这个字 —— 线程之间并没有真正共享数据它们各自操作各自的变量从程序语义上看毫无关联。是缓存行的粒度太粗把本不相关的数据 绑定 在了一起。3.2 为什么 伪 共享比真共享更隐蔽真正的数据竞争Data Race至少能通过逻辑分析或工具检测发现。而 False Sharing 的特点是程序逻辑完全正确不存在任何 bug用 ThreadSanitizer 等工具检测不出任何问题性能退化幅度与硬件缓存行大小、变量在内存中的布局强相关换个编译器、换个优化等级现象可能就消失了在小规模测试中往往表现正常只有在高并发、高频写入的场景下才会暴露。这使得它成为一类极难定位的 隐形性能杀手。4 代码实战从问题到解决下面用 C 写一个完整的对比实验直观展示 False Sharing 的影响以及解决方法。4.1 复现问题#include thread #include chrono #include iostream #include vector // 场景一两个计数器紧邻排列大概率落在同一缓存行 struct CountersBad { long long counter_a; long long counter_b; }; // 场景二通过填充将两个计数器隔离到不同缓存行 struct CountersGood { alignas(64) long long counter_a; // 强制 64 字节对齐 char padding[64 - sizeof(long long)]; // 填充至占满一整条缓存行 alignas(64) long long counter_b; }; template typename T double run_benchmark(T counters, int iterations) { auto start std::chrono::high_resolution_clock::now(); std::thread t1([]() { for (int i 0; i iterations; i) { counters.counter_a; } }); std::thread t2([]() { for (int i 0; i iterations; i) { counters.counter_b; } }); t1.join(); t2.join(); auto end std::chrono::high_resolution_clock::now(); return std::chrono::durationdouble, std::milli(end - start).count(); } int main() { const int ITERATIONS 100000000; CountersBad bad; CountersGood good; double time_bad run_benchmark(bad, ITERATIONS); double time_good run_benchmark(good, ITERATIONS); std::cout 无填充False Sharing: time_bad ms\n; std::cout 有填充已隔离: time_good ms\n; std::cout 性能差距: (time_bad / time_good) x\n; return 0; }在我的测试机上Intel Core i7-12700H典型的输出结果是无填充False Sharing: 1842.37 ms 有填充已隔离: 412.56 ms 性能差距: 4.47x接近 4.5 倍的性能差距仅仅因为两个 long long 变量在内存中是否相邻。代码的核心逻辑很简单两个线程各自对一个计数器做一亿次自增。CountersBad 中两个计数器紧邻排列几乎必然落在同一条 64 字节缓存行内CountersGood 通过 alignas(64) 和手动填充确保两个计数器各自独占一条缓存行。4.2 缓存行填充上面的代码已经展示了最经典的解法 ——填充Padding。核心思路是在共享结构体中为每个会被不同线程频繁写入的字段预留足够的空间使其独占一条完整的缓存行。填充的字节数取决于目标平台的缓存行大小。x86 和 ARM 主流平台通常是 64 字节但并非绝对。Linux 下可以通过以下命令查询getconf LEVEL1_DCACHE_LINESIZE4.3 语言层面的原生支持手动填充虽然有效但写起来繁琐且容易出错。好消息是现代语言和标准库已经提供了更优雅的方案。C17 的 std::hardware_destructive_interference_size#include new // C17 struct Counters { alignas(std::hardware_destructive_interference_size) long long counter_a; alignas(std::hardware_destructive_interference_size) long long counter_b; };这个常量的语义是 保证两个对象不会落在同一缓存行所需的最小对齐值由编译器根据目标平台自动确定。不过实际支持情况参差不齐GCC 和 Clang 的实现进度不一使用时需留意编译器版本。Go 语言的做法Go 标准库中大量使用了手动填充来规避 False Sharing。以 sync.Pool 为例其内部结构 poolLocal 的定义中有一个 pad 字段type poolLocalInternal struct { private interface{} shared poolChain } type poolLocal struct { poolLocalInternal // 防止 false sharing将每个 poolLocal 填充到 128 字节 pad [128 - unsafe.Sizeof(poolLocalInternal{})%128]byte }Go 选择 128 字节而非 64 字节是为了兼容某些缓存行为 128 字节的平台如部分 ARM 处理器和 IBM POWER 系列。这种防御性设计值得在高性能库的开发中借鉴。Java 的 Contended 注解Java 8 引入了 sun.misc.Contended后迁移为 jdk.internal.vm.annotation.ContendedJVM 会自动为被标注的字段添加填充Contended class MyCounter { volatile long value; }需要注意的是该注解默认仅对 JDK 内部类生效普通用户代码需要添加 JVM 参数 -XX:-RestrictContended 才能启用。5 工程实践中的思考5.1 什么时候该关注 False Sharing并非所有多线程程序都需要担心这个问题。根据我的经验以下场景值得警惕高频写入的共享结构体如计数器、统计指标、无锁队列的头尾指针等。如果多个线程频繁修改同一结构体中的不同字段且该结构体较小小于 64 字节大概率会触发 False Sharing。数组元素的并行处理将一个大数组分片给多个线程处理时如果数组元素较小如 int相邻线程处理的边界元素可能落在同一缓存行。性能敏感的热路径在已经排除了算法层面瓶颈之后如果性能仍然不符合预期False Sharing 是一个值得排查的方向。反过来说如果数据是只读的或者写入频率很低比如每秒几次那么缓存行乒乓带来的开销完全可以忽略不必过度优化。5.2 从 Go 标准库看防御性设计Go 标准库在 False Sharing 的防御上做得相当系统化。除了前面提到的 sync.Pool还有几个典型案例sync.Mutex 的内部结构经过精心设计确保高频竞争的字段不会与低频字段共享缓存行runtime 包中的 mcache每个 P 的内存分配缓存同样使用了 128 字节对齐netpoll 中的相关结构也做了类似处理。这些设计背后的哲学是在基础设施层面宁可浪费几十字节的内存也不要让使用者在不知情的情况下踩入性能陷阱。对于编写高性能基础库的开发者来说这是一种值得学习的态度。6 总结False Sharing 是一个典型的 底层知识决定上层性能 的案例。它不涉及任何算法或逻辑错误纯粹是硬件缓存机制与软件内存布局之间的 误会。理解它需要你对 CPU 缓存行的工作方式有清晰的认知解决它手段并不复杂但前提是你得意识到它的存在。在日常开发中我的建议是不必时刻紧绷神经去防备它但在编写高性能并发组件时养成 这个结构体会不会被多个线程同时写 的审视习惯往往能在问题出现之前就将其化解。
