标签: 信息论
所有带有"信息论"标签的文章。
-
论文阅读：CIBM（ICLR 2026）——概念信息瓶颈：用 I(X;C) 压缩抑制概念泄漏
发布于:CIBM（ICLR 2026）论文精读笔记：把信息瓶颈从潜在空间搬到概念层——压 I(X;C)、保 I(C;Y)，用最轻的正则治好概念瓶颈模型的“概念泄漏”与“过度压缩”，并给出迁移到 Cauvis / 蒸馏 / 单域泛化的思路。
-
信息压缩与信息瓶颈：从“文件变小”到“表示变干净”
发布于:从熵和互信息出发，讲清楚表示层面的信息压缩与信息瓶颈（IB）：压缩不是把数据变小，而是让模型的表示更干净——只保留任务相关信息。并落到 CIBM、Cauvis、蒸馏与单域泛化课题上。
-
KL散度：信息论视角下概率分布对齐工具，原理、辨析与论文实战
发布于:从数学定义与关键特性出发，对比 KL 散度与余弦相似度的差异，结合 CDSD、TimeDistill 两篇论文讲解工程落地，并给出实践避坑要点与参考资料。
-
交叉熵：为什么预测让 AI 变聪明？
发布于:从信息论出发解释交叉熵：为什么“预测下一个词”能让 AI 变聪明？本文串起熵、交叉熵与 KL 散度的关系，说明大模型训练的本质就是让模型的世界观不断逼近真实世界的概率分布。