标签: 知识蒸馏
所有带有"知识蒸馏"标签的文章。
-
论文阅读：DSD（ICML 2026）——流形扩展与双重对齐的时序蒸馏
发布于:DSD（ICML 2026）论文精读笔记：时间序列结构蒸馏框架——LMP-Net 流形扩展（Expand-Evolve-Contract）提供轻量学生，Macro-SPKD 与 Micro-OT 双重对齐传递结构知识，RAAD 按需开启预测蒸馏，防止教师不可靠时的负迁移。
-
论文速览手册
发布于:所读论文的精简速览合集——一句话核心、方法要点与关键结果，便于快速回顾。涵盖 Single-DGOD 系列（CDSD、SE-COT、MR-DCoT、LTFE、Cauvis）、时序蒸馏系列（DSD、TimeDistill）、结构感知蒸馏（SARD）、大模型引导蒸馏（UCOD-MKD）与数据级筛选蒸馏（UniRain），每篇附完整笔记链接。
-
KL散度：信息论视角下概率分布对齐工具，原理、辨析与论文实战
发布于:从数学定义与关键特性出发，对比 KL 散度与余弦相似度的差异，结合 CDSD、TimeDistill 两篇论文讲解工程落地，并给出实践避坑要点与参考资料。