#rmsprop

r/singularityで拡散した投稿はarXiv 2602.15322を共有した。論文はmasked adaptive updatesとMagmaにより、1BモデルでAdam・Muon比のperplexity改善を低オーバーヘッドで得たと報告する。