不同优化器的最优 LR 与 ELR Schedule
从四种优化器的 LR/ELR 推导到 MuonH 对齐模型，再用真实语言模型训练检验 DP 曲线与 AIR 的差异。
Muon
Hyperball：权重范数与角向更新
Hyperball 固定权重范数并归一化更新。本文推导其实际转角，介绍学习率调度、HyperTransfer、HyperP 及相关实验。
Muon
I curate some learning materials for CUDA Programming
从四种优化器的 LR/ELR 推导到 MuonH 对齐模型，再用真实语言模型训练检验 DP 曲线与 AIR 的差异。
Hyperball 固定权重范数并归一化更新。本文推导其实际转角，介绍学习率调度、HyperTransfer、HyperP 及相关实验。
I curate some learning materials for CUDA Programming