标签: 模型压缩

所有带有"模型压缩"标签的文章。

• 知识蒸馏：为什么“小模型”可以向“大模型”学习？

  发布于: 27 8, 2026

  从 Hinton 的经典 KD 讲起，拆解教师-学生框架、温度软化、Soft/Hard 双损失，梳理响应/特征/关系三类蒸馏的演进，并延伸到自蒸馏与大模型时代，最后用信息论视角统一蒸馏本质。