标签: 学习笔记

所有带有"学习笔记"标签的文章。

• LoRA 是什么？大模型微调到底是在“调”什么？

  发布于: 3 9, 2026

  整理自《什么是 LoRA 大模型微调是怎么回事》视频：从「微调到底在改什么」出发，讲清 ΔW 的低秩假设、BA 分解、A/B 初始化与 α/r 缩放，再理清 LoRA 与 Adapter、SFT、QLoRA 的关系及局限。

• 从调和级数到欧拉–马歇罗尼常数 γ：两个发散量为什么能“减”出一个常数？

  发布于: 3 9, 2026

  整理自 B 站视频：从调和级数发散讲起，用积分比较解释为什么 H_n 的增长速度是 ln n，再严格证明 H_n−ln n 收敛，最终引出欧拉–马歇罗尼常数 γ≈0.5772。

• 从梯度下降到 Adam：神经网络优化器是如何一步步演化的？

  发布于: 1 9, 2026

  整理自王木头学科学讲解梯度下降优化的视频：沿着「每个方法解决前一个方法的问题」的主线，从梯度下降、SGD 讲到 Momentum、Nesterov、AdaGrad、RMSProp，再到 Adam 与 AdamW，并解释为什么深度学习不用牛顿法。

• 迁移学习（Transfer Learning）：把已经学会的知识迁移到新任务

  发布于: 1 9, 2026

  系统整理迁移学习（Transfer Learning）主线：从「旧知识能不能帮到新任务」出发，讲清 Pretraining + Fine-tuning 范式、Inductive / Transductive / Unsupervised 三种类型、Domain Shift 与 Domain Adaptation，再到各领域的应用、Negative Transfer 与现代 Foundation Model 适配。