ΜP

$\mu\mathrm{P}$ 的初始化与学习率缩放、可复现的 MLP 实验，以及深度、优化器和 MoE 中的扩展。