昨天在部署端侧模型时又遇到了老问题：检测精度勉强达标，但推理速度始终上不去。尝试了量化、剪枝、层融合，效果总是不尽人意。盯着TensorRT里那个只有3ms延迟却精度掉点的模型，突然意识到——我们是不是一直在“压榨”小模型本身的潜力，却忘了让它“站在巨人的肩膀上”？今天就来聊聊知识蒸馏这个让大模型带小模型“开窍”的经典技术。一、蒸馏的本质：学的是“感觉”不是标准答案传统训练里小模型直接学硬标签（0或1的类别），就像学生只背标准答案。但实际任务中，大模型输出的概率分布（比如猫：0.85，狗：0.12，背景：0.03）包含了更多信息：类别间相似度、模型不确定性、边缘响应模式。知识蒸馏就是让小模型学习这种“软标签”，模仿老师的判断风格。YOLOv11的蒸馏有个关键点：不能只蒸馏分类头，检测任务里定位信息更重要。我们实验室早期试过只蒸馏分类损失，mAP提升了但IoU没变化，部署后发现漏检率反而上升——模型学会认物体了，但框不准位置。二、实战代码：三明治蒸馏结构下面这个实现是我们迭代了三个版本的稳定方案，重点看注释里的坑：classYOLOv11Distill(nn.Module