标签: SGD

所有带有"SGD"标签的文章。

• 从梯度下降到 Adam：神经网络优化器是如何一步步演化的？

  发布于: 1 9, 2026

  整理自王木头学科学讲解梯度下降优化的视频：沿着「每个方法解决前一个方法的问题」的主线，从梯度下降、SGD 讲到 Momentum、Nesterov、AdaGrad、RMSProp，再到 Adam 与 AdamW，并解释为什么深度学习不用牛顿法。