标签: 熵
所有带有"熵"标签的文章。
-
交叉熵：为什么预测让 AI 变聪明？
发布于:从信息论出发解释交叉熵：为什么“预测下一个词”能让 AI 变聪明？本文串起熵、交叉熵与 KL 散度的关系，说明大模型训练的本质就是让模型的世界观不断逼近真实世界的概率分布。
-
从熵到大模型：为什么“预测”就是一种压缩？
发布于:从 Shannon 熵出发，理解“预测就是压缩”这一核心思想：信息来自不可预测性，机器学习就是减少不可预测性，而大模型本质上是在寻找人类知识的最简洁表达。
所有带有"熵"标签的文章。
从信息论出发解释交叉熵：为什么“预测下一个词”能让 AI 变聪明？本文串起熵、交叉熵与 KL 散度的关系，说明大模型训练的本质就是让模型的世界观不断逼近真实世界的概率分布。
从 Shannon 熵出发，理解“预测就是压缩”这一核心思想：信息来自不可预测性，机器学习就是减少不可预测性，而大模型本质上是在寻找人类知识的最简洁表达。