Jiwen's Website
About
Publication
Blog
Home
»
Tags
Adam
不同优化器的最优 LR Schedule
SGD 的线性上界与反比精确解,Adafactor 的相对步长,Adam 的动量修正,以及 Muon 的矩阵推导。