不同优化器的最优 LR Schedule

SGD 的线性上界与反比精确解,Adafactor 的相对步长,Adam 的动量修正,以及 Muon 的矩阵推导。

October 31, 2026 · 22 min · Jiwen Jiang