标签: 知识蒸馏
所有带有"知识蒸馏"标签的文章。
-
论文阅读：UCOD-MKD（CVPR 2026）——MLLM 引导的分级知识蒸馏无监督伪装目标检测
发布于:UCOD-MKD（CVPR 2026）论文阅读笔记：无监督伪装目标检测——用 MLLM（CA-CoT 分步推理）+ SAM 当冻结教师生成候选掩码，GME 按候选一致性分级（丢弃低质量），GKD 在图像级与像素级按质量差异化蒸馏轻量学生，无需任何人工标注。
-
论文阅读：SARD（CVPR 2026）——结构感知表示蒸馏，让微型密集分割聚焦几何关键位置
发布于:SARD（CVPR 2026）论文阅读笔记：面向微型密集目标分割的结构感知蒸馏——从教师特征构造边界显著性、几何复杂度与空间密度三合一的结构重要性图，加权「点对点特征一致性 + 去噪分数匹配分布对齐」，让学生把容量花在几何关键位置，RockFrag 上较 CWD +4.3 mIoU。
-
知识蒸馏：为什么“小模型”可以向“大模型”学习？
发布于:从 Hinton 的经典 KD 讲起，拆解教师-学生框架、温度软化、Soft/Hard 双损失，梳理响应/特征/关系三类蒸馏的演进，并延伸到自蒸馏与大模型时代，最后用信息论视角统一蒸馏本质。
-
论文阅读：TimeDistill（KDD 2026）——跨架构蒸馏的长时序预测
发布于:TimeDistill（KDD 2026）论文精读笔记：跨架构蒸馏框架——用多尺度（时域下采样）与多周期（频域 FFT）双视角，在预测级与特征级双层面把 Transformer/CNN 教师的知识蒸馏进纯 MLP 学生，并给出 KD 约等于 mixup 增广的理论解释。