Adam Optimizer

文章目录

1. 1. 背景
2. 2. Adam算法初步优化
3. 3. Adam算法最终优化
4. 4. 参考资料

背景

传统的随机梯度下降算法SGD(Stochastic Gradient Descent)的式子为:

\[ \theta_{t+1} \leftarrow \theta_{t} -\alpha \nabla_{\theta_{t}}J_{minibatcg}(\theta_{t}) \]

其中\(J\)为损失函数,\(\theta_{t}\)为t时刻的参数,\(\alpha\)为学习率,\(\nabla_{\theta_{t}}J_{minibatcg}(\theta_{t})\)为t时刻梯度.

Adam算法初步优化

考虑让梯度更加平滑,有以下式子:

$$ m_{t+1} {1}m{t}+(1-{1}){{t}}J{minibatcg}(_{t}) \

{t+1} {t} -m_{t+1} $$

优点:

• 梯度更加平滑,减少了振荡
• 可以在初始设置更大的学习率

Adam算法最终优化

通过对应"动量"这一想法的进一步扩展,我们得到了新的学习算法式子:

$$ m_{t+1} _1 m_t + (1 - 1) {t} J{}(t) \ v{t+1} _2 v_t + (1 - 2)({t} J{}(t) {t} J{}(_t)) \

_{t+1} _t - $$

其中\(\beta_{1},\beta_{2}\)是大小在0和1之间的超参数,\(\odot\)是平方的符号,\(\alpha\)是学习率.

优点:

• 梯度更加平滑,减少了振荡
• 可以在初始设置更大的学习率
• 接收较小或很少更新的模型参数将得到较大的更新

参考资料

11.10. Adam算法 — 动手学深度学习 2.0.0 documentation (d2l.ai)

Stanford CS 224N | Natural Language Processing with Deep Learning