「亚当对比」相关内容（1篇）

亚当对比：一次训练复盘

亚当对比不能只看谁先把loss压低。一次合理复盘，要把学习率、权重衰减、warmup、验证集波动放在同一张桌上。下面用一个图像分类小实验的流程，还原Adam、AdamW和SGD该怎么公平比较。