Jiwen's Website
About
Publications
Blog
Home
»
Tags
Learning Rate
不同优化器的最优 LR 与 ELR Schedule
从四种优化器的 LR/ELR 推导到 MuonH 对齐模型,再用真实语言模型训练检验 DP 曲线与 AIR 的差异。