Jiwen's Website
About
Publication
Blog
Home
»
Tags
Hyperball
Hyperball:权重范数与角向更新
从权重衰减的范数动力学解释 Hyperball,推导球面上的实际转角,再看它与 Muon、$\mu\mathrm{P}$ 和学习率调度的关系。