052、优化器选型对比：SGD vs Adam vs AdamW vs Lion，YOLO 训练中的最优选择

052、优化器选型对比：SGD vs Adam vs AdamW vs Lion，YOLO 训练中的最优选择一个让我熬夜三天的bug去年做YOLOv8工业缺陷检测项目，训练到第80个epoch时mAP突然从0.78掉到0.52，loss曲线像过山车一样震荡。我翻遍训练日志，发现罪魁祸首是优化器——AdamW的weight decay参数设成了0.05，而YOLO官方默认是0.0005。这个看似微小的差异，直接让模型在训练后期崩了。从那以后，我养成了一个习惯：每次开新项目，第一件事就是对着优化器参数发呆十分钟。今天就把这些年踩过的坑和总结的规律，原原本本写出来。四大优化器核心差异SGD + Momentum：老派但可靠SGD（随机梯度下降）配上momentum，是YOLOv5时代的标准配置。它的核心逻辑很简单：沿着梯度方向迈步，momentum让步伐更平滑。# 这是YOLOv5官方配置，我直接复制过来改过optimizer=torch.optim