Muonの数理: Frobenius・スペクトル・核ノルムと最急降下
2026年10月の再サーベイ： 研究史・重要文献・最近の進展を整理した新版を追加しました（2026年10月3日基準）。以下は従来のメモです。定義・適用条件の訂正は新版を参照してください。
Papers
重要な修正: 行列に対する $|\cdot|_2$ は通常スペクトルノルムです。 要素をベクトル化したEuclideanノルムを意味する場合は $|\cdot|_F$ と書きます。 以前の版は冒頭でこの2つを混同していたため、以下では記号を分離します。
最急降下をノルムから理解する：ユークリッド／フロベニウス vs スペクトル（Muon文脈）
本記事では「ノルム球の中で最も損失が下がる一歩（steepest descent）」を、
(1) ベクトル化（＝行列は要素ごとの L2）での ユークリッド／フロベニウスノルム と、
(2) 行列としての スペクトルノルム（Muon などのスペクトル意識的更新）
の両視点から、等号条件まで含めて整理します。
記法と前提
- 損失関数：$L(W)$
- 勾配：$G \coloneqq \nabla_W L$
- 一次近似（テイラーの一次項）： \(L(W+\Delta W) \approx L(W) + \langle G, \Delta W \rangle,\qquad \langle A,B\rangle \coloneqq \mathrm{tr}(A^\top B)\)
- 目標：ノルム制約付きで \(\min_{\|\Delta W\| \le \eta} \ \langle G, \Delta W \rangle\) を解く（=「最も下がる一歩」を見つける）。
1) ユークリッド／フロベニウスノルムでの最急降下
1.1 ノルムと幾何（なぜフロベニウス？）
行列 $\Delta W \in \mathbb{R}^{m\times n}$ を要素ごとに測る L2 ノルム（= ベクトル化 L2）は フロベニウスノルム：
\(\|\Delta W\|_F \;=\; \sqrt{\sum_{i,j} \Delta W_{ij}^2}.\)
これは「ユークリッドノルム」と同値（flatten すれば L2）。
L2 は自己双対なので、内積に対して Cauchy–Schwarz がそのまま効きます：
\(|\langle G,\Delta W\rangle| \;\le\; \|G\|_F\,\|\Delta W\|_F.\)
1.2 最適化と等号条件
制約 $|\Delta W|_F \le \eta$ 下で内積を最小化： \(\langle G,\Delta W\rangle \;\ge\; -\,\|G\|_F\,\|\Delta W\|_F \;\ge\; -\,\eta\,\|G\|_F.\) 等号条件は Cauchy–Schwarz の等号条件（同一直線上）： \(\Delta W = c\,G \quad (c\in\mathbb{R}),\qquad \text{最小は } c<0.\) さらに境界を使い切る（$|\Delta W|_F=\eta$）のが最適なので、 \(\boxed{\ \Delta W^\star \;=\; -\,\eta\,\dfrac{G}{\|G\|_F}\ }\qquad(\ \|\Delta W^\star\|_F=\eta\ ).\)
ポイント：
「勾配と反対向き」が L2 幾何（等方性）での最急降下。
これは フロベニウス（= ベクトル化 L2） だからこそ成立。
2) スペクトルノルムでの最急降下（Muon 文脈）
2.1 ノルムの違いと双対
行列の スペクトルノルム（最大特異値）： \(\|\Delta W\|_2 \;=\; \sigma_{\max}(\Delta W).\) スペクトルノルムの双対ノルムは 核（トレース）ノルム： \(|\langle G,\Delta W\rangle| \;\le\; \|G\|_*\,\|\Delta W\|_2.\) よって $|\Delta W|_2 \le \eta$ なら \(\langle G,\Delta W\rangle \;\ge\; -\,\|G\|_*\,\|\Delta W\|_2 \;\ge\; -\,\eta\,\|G\|_*.\)
2.2 等号条件と最適解（特異ベクトルの整列）
$G = U\Sigma V^\top$（コンパクト SVD, $\Sigma=\mathrm{diag}(\sigma_i)$）とすると、 $|X|_2\le 1$ で $\langle G,X\rangle$ を最大化する解の一つは $X = UV^\top$： \(\langle G, UV^\top\rangle \;=\; \mathrm{tr}(\Sigma) \;=\; \|G\|_*.\) 最小化では符号反転・半径 $\eta$ で \(\boxed{\ \Delta W^\star \;=\; -\,\eta\,U V^\top\ }\qquad(\ \|\Delta W^\star\|_2=\eta\ ).\)
直感：
フロベニウスでは「方向 = 勾配そのもの」。
スペクトルでは「特異ベクトルの向き」が“最も（内積の意味で）反対”。
つまり $-UV^\top$ が「スペクトル幾何」での最急降下方向。
3) 「∥ΔW∥₂」の表記上の注意
- ベクトルに対する $|\cdot|_2$：ユークリッド（L2）。
- 行列に対する $|\cdot|_2$：スペクトルノルム。
- 行列の「要素ごと L2（ベクトル化 L2）」は $|\cdot|_F$ を使うと誤解がない。
よって、ユークリッドノルム球を明示したいときは
$\boxed{\ |\Delta W|_F \le \eta\ }$ と書くのが安全。
4) まとめ（対応表）
| 制約ノルムの球 | 目的関数 | 双対ノルム | 等号条件（整列条件） | 最急降下一歩 |
|---|---|---|---|---|
| フロベニウス $|\Delta W|_F \le \eta$ | $\min \langle G,\Delta W\rangle$ | $|\cdot|_F$ | $\Delta W \propto -G$（同一直線・反対向き） | $\displaystyle \Delta W^\star = -\eta\,\frac{G}{|G|_F}$ |
| スペクトル $|\Delta W|_2 \le \eta$ | 同上 | 核（トレース）$|\cdot|_*$ | $\Delta W \propto -UV^\top$（左右特異ベクトル整列） | $\displaystyle \Delta W^\star = -\eta\, U V^\top$（$G=U\Sigma V^\top$） |
5) 階数欠損と解の非一意性
$G$ のrankを $r<\min(m,n)$ とします。コンパクトSVDで得る $UV^\top$ は $G$ のrow/column space上では自然な極分解因子ですが、零特異値に対応する直交補空間では 目的関数 $\langle G,\Delta W\rangle$ は変化しません。したがってスペクトルノルム球上の最適解は 一般に一意ではありません。Muonの有限回Newton–Schulz反復でも、入力の零特異値は多項式が $\varphi(0)=0$ である限り零のままです。
この点は「有限5反復が常に厳密な半直交行列を返す」という読み方を避けるために重要です。 Muon提案者の導出 も、反復が各特異値へ多項式を適用する形で説明しています。
6) よくある混乱点と処方箋
- 「$|\Delta W|_2$ は“ユークリッド”ですか？」
→ 行列に 2 を付けるとスペクトルノルム。
ユークリッド（要素ごと L2）を意味したいなら $|\Delta W|_F$ と書く。 - 「最急降下は常に $-G$ 方向ですか？」
→ いいえ。それは フロベニウス（＝ベクトル化 L2）球の場合。
スペクトル球では $-UV^\top$ が最急降下。 - 「等号条件の直感は？」
→ L2 は Cauchy–Schwarz の等号＝同一直線。
スペクトルは von Neumann のトレース不等式の等号＝特異ベクトル整列。
検算ポイント
- $G=0$ のとき、正規化式 $G/|G|_F$ は未定義なので別扱いにする。
- $G$ がベクトルならスペクトルノルムとFrobeniusノルムは一致する。
- $G$ がrank 1なら $|G|_*=|G|_F=|G|_2$ だが、更新行列の形は制約の表現に依存する。
- 実装のNewton–Schulzは厳密SVDではなく有限回近似である。