先聊聊Loss 函数。语义分割最基础的 Loss 是 Cross-Entropy交叉熵简单粗暴逐像素计算分类损失。但你很快会发现一个问题——类别不平衡。Cityscapes 里“道路”和“建筑”占了画面大半江山而“摩托车”、“自行车”这些稀疏类别总共没几个像素。模型学到最后看到啥都预测成道路反正整体准确率还挺高mIoU 却低得可怜。这时候就得请出Weighted Cross-Entropy给稀疏类别加大权重。但权重怎么设按类别频率倒数可以但你试过就知道某些超稀疏类别权重放大 100 倍后梯度爆炸直接让训练崩塌。于是Focal Loss登场了。这玩意儿本来是目标检测里解决正负样本极度不平衡用的搬到分割里也好使。它给易分类样本降权给难分类样本升权——说白了就是把模型的注意力强行拉到那些分不清的模糊区域。配合着用效果确实有提升但 Focal Loss 那两个超参数 α 和 γ 你得跟炼丹似的慢慢试一组参数训三天试十组一个月就没了。还有一大流派是基于Dice Loss或IoU Loss的。这些 Loss 直接优化评测指标本身思路没毛病。Dice Loss 在小目标上表现极好因为它是集合度量不受类别像素数量影响。但问题是Dice Loss 的梯度在分母很小时会变得极大训练初期动不动就 NaN。而且它倾向于让预测区域“收缩”有时候会牺牲边界完整性来换取更高的重叠度。现在的流行做法是混合 Loss——Cross-Entropy Dice Loss一起用一个负责稳定收敛一个负责优化指标各司其职。还有更狠的在边界上用Boundary Loss专门拉高边缘区域的权重让分割结果别那么“毛茸茸”的。再说说优化器。分割任务用 SGD Momentum 的依然大有人在尤其是带 Batch Normalization 的 CNN 架构。但 Transformer 架构用 SGD 就有点水土不服了AdamW 几乎成了标配。这里有个血泪教训——学习率的 warmup 策略绝对不能省尤其是刚开始训练的那 5 到 10 个 epoch直接给大学习率BN 层的 running_mean 和 running_var 直接飘飞后期再怎么调都救不回来。还有Cosine Annealing 加 Restart这招在分割里比 Step Decay 更稳因为分割的损失曲面比较崎岖带重启的余弦退火更容易跳出局部极小。Batch Size也是个玄学问题。大 Batch Size 能让 BN 的统计量更稳定但在分割中太大的 Batch Size 反而会导致泛化能力下降——因为梯度过于平滑找不到尖锐的极小值而这些尖锐极小值往往对应着更好的泛化性能。小 Batch Size 又会让 BN 的均值和方差在批次之间剧烈抖动训练震荡得跟坐过山车似的。我的个人经验是Batch Size 在 16 到 32 之间是个甜蜜点太大太小都难受。最后讲个最容易忽视的——数据增强的策略与顺序。随机水平翻转基本必做因为 Cityscapes 这类数据左右不对称的情况很少。随机缩放和裁剪是必须的能增强尺度鲁棒性。但 Color Jitter 和 Gaussian Blur 要谨慎太强的色彩扰动会破坏某些类别的关键色彩特征比如分割交通灯时红色被漂移成橙色那模型就彻底懵了。增强的顺序也有讲究——先做几何变换再做色彩变换因为几何变换用插值会改变像素值分布如果在色彩变换之后再缩放色彩统计信息就被污染了。对了还有SyncBN 和多卡训练。如果用了多卡 DistributedDataParallelBN 的均值和方差默认只在单卡上计算这就导致每张卡看到的 Batch 实际上变小了。必须在所有卡之间同步 BN 统计量这叫 SyncBN。很多人忘了这步结果单卡训的好好的多卡一跑反而精度掉了两三个点排查两天发现是 BN 没同步欲哭无泪。
