标签: Momentum
所有带有"Momentum"标签的文章。
-
从梯度下降到 Adam：神经网络优化器是如何一步步演化的？
发布于:整理自王木头学科学讲解梯度下降优化的视频：沿着「每个方法解决前一个方法的问题」的主线，从梯度下降、SGD 讲到 Momentum、Nesterov、AdaGrad、RMSProp，再到 Adam 与 AdamW，并解释为什么深度学习不用牛顿法。
所有带有"Momentum"标签的文章。
整理自王木头学科学讲解梯度下降优化的视频：沿着「每个方法解决前一个方法的问题」的主线，从梯度下降、SGD 讲到 Momentum、Nesterov、AdaGrad、RMSProp，再到 Adam 与 AdamW，并解释为什么深度学习不用牛顿法。