标签: 互信息

所有带有"互信息"标签的文章。

• 论文阅读：CIBM（ICLR 2026）——概念信息瓶颈：用 I(X;C) 压缩抑制概念泄漏

  发布于: 18 9, 2026

  CIBM（ICLR 2026）论文精读笔记：把信息瓶颈从潜在空间搬到概念层——压 I(X;C)、保 I(C;Y)，用最轻的正则治好概念瓶颈模型的“概念泄漏”与“过度压缩”，并给出迁移到 Cauvis / 蒸馏 / 单域泛化的思路。

• 信息压缩与信息瓶颈：从“文件变小”到“表示变干净”

  发布于: 18 9, 2026

  从熵和互信息出发，讲清楚表示层面的信息压缩与信息瓶颈（IB）：压缩不是把数据变小，而是让模型的表示更干净——只保留任务相关信息。并落到 CIBM、Cauvis、蒸馏与单域泛化课题上。