在AI人工智能和芯片架构领域EMA是一个非常常见但含义截然不同的缩写。在芯片架构领域它指的是外部存储器访问External Memory Access。在AI训练算法中它也指指数移动平均Exponential Moving Average。含义一外部存储器访问External Memory Access—— 硬件/系统语境这是你刚才读的所有论文中出现的“EMA”例如摘要里的EMA energy、reduce EMA。1. 它是什么指芯片去访问片外存储器如DDR、LPDDR、HBM读取或写入数据的过程。与之相对的是访问片上存储器SRAM。2. 为什么它是AI芯片的“头号公敌”能耗巨大斯坦福大学Horowitz教授的经典数据指出访问一次片外DRAM的能耗约1020pJ/bit是访问片上SRAM的100200倍是做一次FP32乘加运算MAC的数千倍。带宽瓶颈芯片引脚数量有限片外带宽远低于芯片内部总线带宽。当算力TOPS增长时内存带宽跟不上导致处理单元PE饥饿等待。3. 论文中如何针对EMA做优化C-Transformer提出三级权重压缩BLN IWG ESC把模型参数从8-bit压到5-bit甚至更少。目的就是在搬运权重时减少传输的比特数从而降低EMA能耗文中EMA能耗降低至基线的0.37~0.41倍。EdgeDiff提出组量化Group Quantization和混合精度将激活值压缩成INT4/INT8同样是为了降低从外部存储器搬运数据的带宽需求。CLAT采用3D-SRAM立方体堆叠把SRAM物理上搬到计算芯片上方用更快的片上/层间通信替代片外通信从根本上减少不得不发生的“EMA”次数。含义二指数移动平均Exponential Moving Average—— 训练算法语境如果你是在看训练代码如PyTorch/TensorFlow或讲模型优化那它几乎一定指这个。1. 它是什么一种给历史数据分配衰减权重的平滑统计方法。在深度学习中最经典的应用是EMA权重EMA Weights。2. 它用来干什么在训练模型时尤其是生成模型如扩散模型、GANs我们不仅保存当前更新后的权重还维护一份历史权重的滑动平均值。公式为EMA_weights decay × EMA_weights (1 - decay) × current_weights其中decay通常接近1如0.99993. 为什么用它提升推理稳定性训练末期的权重可能在局部最优附近震荡而EMA权重综合了历史信息通常比最终训练的权重更平滑、更鲁棒。扩散模型Diffusion必备在Stable Diffusion等模型的官方实现中推理时使用的权重几乎全是EMA权重而不是最后一步的检查点。如果直接用最终权重生成的图像往往会有噪点或失真。终极判断你在读的论文里该理解为哪个判断依据结论论文中出现了“DRAM”、“off-chip”、“bandwidth”、“DDR”必然是外部存储器访问External Memory Access论文中出现了“momentum”、“decay”、“batch norm statistics”必然是指数移动平均Exponential Moving Average论文标题含有“Accelerator”、“Processor”、“Energy-Efficient”几乎全部特指外部存储器访问EMA因为硬件论文的核心就是解决搬数据耗能的问题针对CSDN发布建议在总结这类硬件加速器论文时务必在首次出现“EMA”时明确标注“外部存储器访问External Memory Access, EMA”避免与训练算法中的指数移动平均混淆。如果实在担心歧义可以在文中直接写“片外数据搬运EMA”。
