CPU指令的执行时间分析

最坏的情况，当L3 Cache未命中时，CPU需要从主存读取数据，这一过程涉及多级物理延迟和协议开销：
• 内存层级延迟：主存访问速度远低于缓存。以DDR4内存为例，典型延迟在50-80ns量级。当L3失效后，需通过内存控制器（IMC）发起总线请求，等待内存芯片响应并传输数据。

• 总线仲裁与传输：内存总线需要处理多核竞争，可能导致排队延迟。例如，在Intel Cascade Lake架构中，若多个核心同时访问内存，总线带宽会被分时复用。

• 缓存一致性协议：在NUMA架构或多核系统中，需通过MESI等协议维护缓存一致性，可能触发额外的缓存行无效化（Invalidation）或回写（Writeback）操作。

所以，一条CPU指令的执行时间取决于数据是否在缓存中，以MOV指令为例（如mov rax, [mem]）：
• 缓存命中时：数据直接从L3 Cache加载到寄存器，消耗约40个时钟周期（主频2GHz下为20ns、每个时钟周期为0.5ns）。

• 缓存未命中时：MOV指令会触发完整的内存访问流程：

1. 地址转换：通过MMU将虚拟地址转换为物理地址（涉及TLB查询，若TLB未命中需查页表）。
2. 内存控制器调度：请求被发送到内存控制器，等待DRAM芯片响应。
3. 数据传输：64字节缓存行（Cache Line）从内存加载到L3 Cache，再逐级填充到L1/L2。
   这一过程的总延迟可达140个周期（70ns），其中仅内存芯片的物理延迟就占约60ns。

4. 额外开销：现代CPU依赖预取（Prefetching）和乱序执行隐藏内存延迟，但L3未命中时，预取可能失效，导致流水线停顿。

以上是当L3 Cache未命中时，也就是最坏的情况分析。下面介绍下L1和L2的访问延迟。

L1和L2 Cache的访问延迟仅需4-12个指令周期，远低于L3 Cache的40周期。

1. 容量更小，访问路径更短

• L1 Cache：通常为32-64KB（每核独享），物理尺寸极小，电路信号传播延迟极低。数据可在1-3个时钟周期内被读取。
• L2 Cache：通常为256KB-1MB（每核独享或共享），容量稍大但仍远小于L3，访问路径较短，延迟约为8-12周期。
• 对比L3：L3容量可达几十MB，更大的存储阵列需要更复杂的解码和更长的信号传输时间。

2. 高频运行，紧耦合核心

• 时钟域对齐：L1/L2通常与CPU核心同频（或略低），而L3运行在更低频的独立时钟域（如核心频率的1/3）。高频下单个周期的时间更短，总延迟更低。
• 物理靠近核心：L1直接集成在CPU核心流水线旁，L2紧邻核心，而L3跨多核共享，物理距离导致延迟增加。

3. 简化的访问流程

• L1无仲裁开销：L1是核心独占的，访问时无需协调其他核心（无一致性协议开销）。L2可能需简单仲裁，但仍比L3的多核共享复杂度低。
• 流水线优化：L1访问通常与指令解码、执行流水线深度绑定（如Intel的Load/Store Unit仅需4周期），而L3需经过多级互联网络和缓存控制器。

4. 工艺与电路优化

• 高速SRAM：L1/L2使用高性能SRAM单元（更快的晶体管），而L3可能采用密度更高但速度较慢的eDRAM或低功耗SRAM。
• 低延迟设计：L1的Tag比对和数据读取可单周期完成，L2通过预解码和bank并行化减少延迟。

5. 层级分工的必然结果

• L1目标：为流水线提供单周期级延迟（实际因流水线分段需3-4周期），确保指令吞吐。
• L2目标：弥补L1未命中的惩罚，延迟控制在10周期内，避免流水线停滞。
• L3目标：作为多核共享的“最后防线”，牺牲延迟换取高命中率，避免访问内存（100+周期）。

实际案例（以Intel Skylake为例）

为什么不能全部做成L1的速度？

• 面积与功耗限制：若L2/L3也采用L1的工艺和频率，芯片面积和功耗会爆炸式增长（例如L1 SRAM面积是L3的5-10倍）。
• 收益递减：根据局部性原理，90%以上的访问集中在L1/L2，优化L3延迟对整体性能提升有限，不如优先保证其容量和命中率。