所有带有"交叉熵"标签的文章。
从信息论出发解释交叉熵：为什么“预测下一个词”能让 AI 变聪明？本文串起熵、交叉熵与 KL 散度的关系，说明大模型训练的本质就是让模型的世界观不断逼近真实世界的概率分布。