标签: 学习笔记
所有带有"学习笔记"标签的文章。
-
傅里叶变换，不过就是换了一个坐标系
发布于:从线性代数视角重新理解傅里叶变换：它就是一次坐标分解——把函数从时间基底重新表示到频率基底，并延伸到傅里叶级数、DFT 与 FFT 的统一视角。
-
知识蒸馏：为什么“小模型”可以向“大模型”学习？
发布于:从 Hinton 的经典 KD 讲起，拆解教师-学生框架、温度软化、Soft/Hard 双损失，梳理响应/特征/关系三类蒸馏的演进，并延伸到自蒸馏与大模型时代，最后用信息论视角统一蒸馏本质。
-
AdaIN：从“调整特征统计量”到任意风格迁移
发布于:从风格迁移的发展历史讲起，拆解 AdaIN（自适应实例归一化）的核心思想——风格即特征统计量，通过替换内容特征与风格特征的均值方差实现任意风格迁移；并延伸到 SE-COT、MR-DCoT 用文本驱动 AdaIN 做单域泛化的论文实战。
-
交叉熵：为什么预测让 AI 变聪明？
发布于:从信息论出发解释交叉熵：为什么“预测下一个词”能让 AI 变聪明？本文串起熵、交叉熵与 KL 散度的关系，说明大模型训练的本质就是让模型的世界观不断逼近真实世界的概率分布。