标签: 信息论

所有带有"信息论"标签的文章。

• 从熵到大模型：为什么“预测”就是一种压缩？

  发布于: 25 8, 2026

  从 Shannon 熵出发，理解“预测就是压缩”这一核心思想：信息来自不可预测性，机器学习就是减少不可预测性，而大模型本质上是在寻找人类知识的最简洁表达。