不同优化器的最优 LR 与 ELR Schedule
从四种优化器的 LR/ELR 推导到 MuonH 对齐模型,再用真实语言模型训练检验 DP 曲线与 AIR 的差异。
从四种优化器的 LR/ELR 推导到 MuonH 对齐模型,再用真实语言模型训练检验 DP 曲线与 AIR 的差异。
Hyperball 固定权重范数并归一化更新。本文推导其实际转角,介绍学习率调度、HyperTransfer、HyperP 及相关实验。
$\mu\mathrm{P}$ 的初始化与学习率缩放、可复现的 MLP 实验,以及深度、优化器和 MoE 中的扩展。