Hiroki Naganuma

List of Papers

Algorithms

1. LAMB: Layer Adaptation applied to AdamW
2. LARS: Layer Adaptation applied to SGD-M
3. LANS: Nesterov’s momentum into LAMB

Adaptive Batch Sizes

1. Adaptive Sampling Strategies for Stochastic Optimization: Statistical tests that can help determine when to increase batch size
2. An Empirical Model of Large-Batch Training: This work discusses gradient noise scale, critical batch size and how to compute it in detail
3. AdaAdaGrad (Adaptive Batch Size Schemes for Adaptive Gradient Methods): same as #4 focusing more on empirical study using Vision and Language Models

Online Evolutionary Batch Size Orchestration for Scheduling Deep Learning Workloads in GPU Clusters

LBT and Hyper-Parameter Tuning

1. A Large Batch Optimizer Reality Check: Traditional, Generic Optimizers Suffice Across Batch Sizes: Argues against customized LBT optimizers viewing HP tuning as a means to make LBT work
2. Don’t increase batch size decrease LR

Survey

1. Large-Scale Deep Learning Optimizations: A Comprehensive Survey: Recommend reading Section 4 and 5 for a summary of LBT approaches and challenges
2. Mustafa et al. 2018-11-07-Large-Batch-Training-Mustafa.pdf
3. Large-Scale Deep Learning Optimizations: A Comprehensive Survey

Re-visiting norm choices for LBT metrics

1. The Geometry of Sign Gradient Descent: Does viewing gradient in terms of other norms bring out the LBT training behavior better?

2. AdAdaGrad: Adaptive Batch Size Schemes for Adaptive Gradient Methods

   Summary

   
   
   
   この論文は、深層学習における最適化手法の重要なハイパーパラメータである「バッチサイズ」を、訓練中に動的に調整する新しい手法ADADAGRADとその派生版ADADAGRAD-NORMを提案するものです。
   
   1. 背景と問題意識
   大規模バッチ学習の課題: 近年の深層学習では、GPUなどのハードウェア性能向上に伴い、大規模なバッチサイズでの訓練が主流です。これにより訓練は高速化しますが、一方で小さいバッチサイズで訓練したモデルに比べて汎化性能が低下する「汎化ギャップ」という問題が知られています。
   既存研究の限界: バッチサイズを動的に調整する研究はこれまでにも存在しましたが、主に以下のような限界がありました。
   多くの手法が、標準的な確率的勾配降下法（SGD）を対象としており、深層学習で広く利用されているADAGRADやADAMのような適応的勾配法（学習率を動的に調整する手法）との組み合わせは十分に研究されていませんでした。
   理論的な収束保証がなかったり、厳しい仮定の下でしか証明されていなかったりなど、理論と実践の間に乖離がありました。
   
   2. 提案手法と新規性
   本研究は、上記の課題を解決するために、適応的勾配法と親和性の高い適応的バッチサイズ手法を提案します。
   手法の核心:
   既存の適応的サンプリング研究で提案された「Norm Test」や「Inner Product Test」といった考え方を、ADAGRADやその派生版であるADAGRAD-NORMと統合しました。
   これらのテストは、現在のバッチから計算された勾配の「ノイズの大きさ（分散）」を評価し、ノイズが大きすぎると判断された場合にバッチサイズを自動的に増加させます。
   これにより、訓練の初期段階では小さいバッチサイズで探索的に学習を進めて汎化性能を高め、訓練が進むにつれて大きいバッチサイズに移行して安定かつ高速に収束させることを目指します。
   これまでの研究との違い・新規性:
   適応的勾配法への拡張: これまでSGD向けに開発されてきた適応的バッチサイズ手法を、初めてADAGRADのような適応的勾配法向けに拡張し、その理論的正当性を示した点に最大の新規性があります。
   理論的保証: 提案手法が、滑らかな非凸最適化問題において、高い確率で停留点に収束することを数学的に証明しました。これにより、手法の信頼性を理論的に裏付けています。
   
   3. 貢献の実証方法
   本論文では、提案手法の有効性を「理論」と「実験」の両面から実証しています。
   理論的貢献の実証:
   収束性の証明: 提案手法（ADADAGRAD-NORM）が、K回のイテレーションでO(1/K)という収束率を高い確率で達成することを証明しました。これは、既存のSGDベースの手法と同等の強力な保証です。
   仮定の緩和: 従来の多くの研究で用いられる「Lipschitz平滑性」という仮定を、より現実的な「一般化平滑性」の条件に緩和した上でも、収束性を証明しました。これにより、より広いクラスの問題に対して理論が適用可能であることを示しています。
   座標ごとの適応: ADAGRADの座標ごとに学習率を調整する特性に合わせて、座標ごとのNorm Testを導入し、その場合でも同様の収束保証が得られることを示しました。
   実験的貢献の実証:
   画像分類タスクでの評価: MNISTおよびCIFAR-10データセットを用いた画像分類タスクで、提案手法の性能を評価しました。
   性能比較: 提案手法を、固定バッチサイズのSGDやADAGRAD、そしてSGDベースの適応的バッチサイズ手法（ADASGD）と比較しました。
   結果: 実験の結果、提案手法は以下の点で優位性を示しました。
   汎化ギャップの緩和: 大規模な固定バッチサイズを用いた場合に比べて、高い検証精度（汎化性能）を達成しました。
   訓練効率の向上: 訓練が進むにつれてバッチサイズを大きくすることで、GPUリソースを有効活用し、少ないステップ数で効率的に学習を完了させることができました。
   自動化: 学習率のスケジューリングなどを細かく調整することなく、訓練効率と汎化性能のバランスを自動で取れることを実証しました。
   
   4. 結論
   本研究は、適応的勾配法のための適応的バッチサイズ手法「ADADAGRAD」を提案し、その理論的な収束保証と実験的な有効性を初めて示しました。これにより、大規模モデルの訓練におけるハイパーパラメータ調整の手間を削減し、訓練効率と汎化性能を両立させる新たな道筋を拓く貢献をしました。
   
   
   

SDEs

• Optimization-Induced Dynamics of Lipschitz Continuity in Neural Networks

  Summary

  
  
  
  ## 本論文の貢献の要約（構造的整理）
  本研究の主な貢献は以下の3点に整理されます：
  
  ① 理論的枠組みの提案（理論構築）
  - 本論文はニューラルネットワークの訓練中におけるLipschitz連続性（入力に対する出力の変化量を最悪の場合で制限する性質）の時間的な変化（dynamics）を数学的に分析するための厳密な理論的フレームワークを構築しました。
  - このフレームワークは確率微分方程式（Stochastic Differential Equations; SDE）を用いて、確率的勾配降下法（SGD）により駆動されるネットワークパラメータの更新と、それに伴うLipschitz定数の変化をモデル化します。
  - 本研究の新規性は、既存研究が主に静的な解析を行ってきたのに対し、「訓練過程における動的な変化」に焦点を当てた点にあります。
  
  ② Lipschitz定数の動的変化を駆動する主要因の特定（新規性）
    - 理論解析を通じ、Lipschitz定数の動的な変化を支配する3つの主要な力を明確に同定しました：
    - 勾配流の射影 (Gradient-induced drift)：最適化過程における期待勾配がパラメータ行列の固有方向に射影された成分です。
    - 勾配ノイズの射影 (Gradient noise modulation)：ミニバッチサンプリングに由来する勾配ノイズがパラメータ行列の主方向に射影されることで生じる確率的な変動です。
    - ノイズ曲率のエントロピー生成 (Noise-curvature entropy production)：勾配ノイズとパラメータ行列のHessian行列との相互作用によって生じる、不可逆で非負の成分です。
  - 従来の研究では特に「ノイズの曲率との相互作用」による非可逆な要素についての理解が十分でなかったため、この分析は極めて新しい視点を提供します。
  
  ③ 理論の実験的検証と実践的含意（実証的貢献）
  - 提案された理論的枠組みは、CIFAR-10やCIFAR-100データセットを用いた5層ConvNetなどの具体的なニューラルネットワークの訓練を通じて実証されました。
  - 具体的には、batch normalization、mixup、label smoothing、dropout、weight decay、auto-augment、敵対的訓練など複数の正則化設定において実験を行い、提案理論による予測が実験的に観測されたLipschitz定数の動的変化と非常に高い整合性を持つことを示しました（Figure 2およびFigure 8）。
  - さらに理論的枠組みから導かれる実践的含意として、パラメータの初期化、勾配ノイズの調整、一様ラベルノイズ、バッチサイズ、ミニバッチサンプリング軌跡がLipschitz定数の動的変化に及ぼす影響を明らかにしました（Figure 4～Figure 7）。
  
  ## 既存研究との違いと新規性の整理
  本研究の新規性と既存研究との違いは以下の点に集約されます：
  - 従来研究では、主に静的なLipschitz解析が中心であり、訓練過程中のLipschitz定数の動的な挙動は十分解析されていませんでした。
  - 本研究では、Lipschitz連続性の動的変化を「SGDに誘導される最適化力学（Optimization-induced dynamics）」として捉え、これを数学的に定式化した点が最大の新規性です。
  - また、SDEを活用して訓練過程における確率性を明示的にモデル化し、勾配の期待値、ノイズ、曲率のエントロピー生成といった要素を明確に分離して分析可能にしたことも従来研究にない新しいアプローチです。
  
  ## Contributionの実証方法（実験的妥当性の検証方法）
  本論文でのContributionは以下の方法で実証されています：
  - CIFAR-10, CIFAR-100データセットを用いて、5層ConvNetの訓練を行い、Lipschitz定数を実際に計測しました。
  - 理論解析による予測値（Theorem 14～17）と実際に観測されたLipschitz定数の推移を比較し、その整合性を定量的に確認しました（Figure 2）。
  - 追加的に、ネットワークが収束に近づく長期間訓練を行い、理論が予測する非有界的増加現象（unbounded growth）が実際に観測されることも検証しました（Figure 3）。
  
  
  

SignSGD

• Exact risk curves of signSGD in High-Dimensions: quantifying preconditioning and noise-compression effects / ICML2025
  Summary

  
  
  1. 研究背景と問題意識
     背景
     近年、SIGNSGD（勾配を符号化することで ±1 の更新ベクトルに圧縮した確率的勾配降下法）は実用的な最適化手法として注目されている。
     ADAM など適応型オプティマイザーの振る舞いを単純なモデルで理解する手段として SIGNSGD が注目されているが、具体的にどのような影響（前処理、ノイズ圧縮など）を定量的に与えるのかは未解明であった。
  
  問題意識
  SIGNSGD の高次元での詳細な理論的理解が不足しており、特にノイズの変形効果や前処理の役割が明確にされていない点を問題とした。
  高次元線形回帰問題を対象として、これらの効果を厳密に分析する必要があった。
  
  2. 論文の主な貢献（Contribution）
     本論文の貢献は、SIGNSGD の挙動を高次元で詳細かつ定量的に分析した点にある。具体的な貢献は以下の通りである。
  
  (1) SIGNSGD の高次元極限の導出
  
  - SIGNSGD の挙動を記述する確率微分方程式（SDE）を導出。
  - これを用いて、リスク（誤差）を記述する決定論的な常微分方程式（ODE）を厳密に導出。
  - これまで実験的に観察されていた SIGNSGD の性質を理論的かつ定量的に明らかにした。
  
  (2) SIGNSGD の 4 つの効果を定量的に分析
  SIGNSGD と通常の SGD を比較し、以下の 4 つの効果を明確に定量化した：
  
  - 実効学習率 (Effective Learning Rate)
    勾配の期待 ℓ2 ノルムに比例する効果的な学習率を明らかにした。
  - ノイズ圧縮 (Noise Compression)
    ラベルノイズの分布に応じてバイアス項が変形することを定量化。
  - 対角前処理 (Diagonal Preconditioning)
    SIGNSGD は勾配をデータの対角行列（分散を表す行列）の逆行列で前処理することを示した。
  - 勾配ノイズの再形成 (Gradient Noise Reshaping)
    符号関数（sign 関数）を通すことで、勾配ノイズの共分散構造が変化することを明らかにした。
  
  (3) 厳密な解析的結果と数値実験による実証
  
  - 上記の効果を具体的な設定（例えばガウス分布、重尾分布、実データセット（CIFAR10, IMDB））で厳密に分析。
  - 理論と実験が高次元（例えば d=500 以上）で非常によく一致することを実証。
  - ガウスノイズや Cauchy ノイズなど、多様なノイズ分布に対する挙動を明示的に確認（図 1、図 6、図 7 参照）。
  
  3. 貢献の実証方法
     高次元集中理論（Concentration）を利用した厳密な数学的証明
     SIGNSGD と導出した SDE/ODE の差が次元が増えるほど小さくなることを理論的に証明（Theorem 1、2、3、4）。
     特に、具体的な集中不等式を用いて収束率や収束範囲を明確に保証した。
  
  数値シミュレーションと理論予測の比較検証
  理論予測を数値的に解き、実験と比較した（図 1, 図 6, 図 7）。
  理論が非常に高精度で実際の SIGNSGD の挙動を予測できることを実証した。
  
  

• Scaling Collapse Reveals Universal Dynamics in Compute-Optimally Trained Neural Networks / ICML2025

  Summary

  
  
  タイトル：
  「Scaling Collapse Reveals Universal Dynamics in Compute-Optimally Trained Neural Networks」
  （計算最適に訓練されたニューラルネットワークにおける曲線の一致が示す普遍的な訓練ダイナミクス）
  
  主なテーマ：
  「異なるサイズのモデルでも、最適な条件で訓練すると、その損失曲線が正規化によって一致する」
  という現象の発見と、その背後にある理論的な理由の解明。
  
  ① 基本的な用語の確認
  まず重要な用語の確認です。
  
  Compute-Optimal Training（計算最適な訓練）とは？
  与えられた計算量（Compute：GPU 時間や FLOPs）を最大限に活用し、損失を最も低くするようにモデルサイズと訓練時間を調整する方法のこと。
  
  Scaling Collapse（スケーリングによる一致）とは？
  異なるモデルサイズや条件での訓練結果が、適切な正規化（規模調整）を行うことにより、1 つの普遍的な曲線に一致する現象を指す。
  
  Supercollapse（スーパーコラプス：超一致）とは？
  「Scaling Collapse」が極めて高い精度で起きる特別な状況。モデル間の損失曲線の差が、同一条件での繰り返し実験におけるばらつきよりも遥かに小さい場合を指す。
  
  ② 論文の研究背景と問題設定
  大規模な深層学習モデルの訓練には膨大な計算リソースが必要であり、限られた計算リソースを効率的に活用するための理論的理解が求められている。
  
  これまでの研究では「モデルサイズ」「計算量」「最終的な損失」の関係がパワー・ロー（べき乗則）として表現されることが分かっていたが、
  「訓練過程そのもの」 に関する普遍的法則は十分に理解されていなかった。
  
  この論文は「訓練過程においても普遍的な法則が存在するのでは？」という仮説を検証することを目的としている。
  
  ③ 本論文の主要な発見
  著者らが発見した重要な結果は以下の通りです。
  
  Compute-Optimal な条件（最適なモデルサイズと訓練時間の設定）で訓練すると、
  異なるモデルサイズの損失曲線が「ある正規化」を施すことで 1 つの共通な曲線に一致する（Scaling Collapse）。
  
  特に「学習率の減衰（Learning Rate Decay）」を適用すると、この一致現象はさらに劇的に改善し、
  非常に高精度な一致（Supercollapse：スーパーコラプス） を示すことを発見。
  
  ④ 具体的な実験内容
  論文では以下の実験を行っています：
  
  Transformer と MLP のモデルを使い、CIFAR-5M、チェスデータ、人工的な回帰タスクを実施。
  モデルサイズ（パラメータ数）を変化させつつ、一定の計算予算内で最も低い損失を達成する「計算最適（Compute-Optimal）」なモデルと訓練ステップ数を決定。
  この条件で得られた損失曲線を、以下の方法で正規化：
  
  - 訓練終了時の計算量を 1 として規格化。
  - 損失曲線を最終損失値を基準にして 1 に正規化。
  
  この正規化を行うと、異なるモデルサイズでも損失曲線がほぼ完全に一致することを確認しました。
  
  ⑤ 「Supercollapse」とは何か？なぜ重要なのか？
  論文が特に注目した「Supercollapse」とは：
  
  - 通常、モデルの損失曲線は初期値のランダム性や訓練時のノイズの影響で、同じ設定でも多少ばらつきます（ノイズフロア：noise floor）。
  - しかし学習率を適切に減衰させると、異なるモデルサイズ間の損失曲線の差が、この「ノイズフロア」よりも圧倒的に小さくなります。
  - つまり、「異なるモデルサイズ間の訓練進行が同じモデルの繰り返し実験よりもはるかに正確に一致する」ということを示しているのです。
  - これは、スケーリング法則の背後にある普遍的なメカニズムを示唆する極めて重要な発見であり、モデルサイズを変更しても訓練過程が「普遍的」であることを強力に示しています。
  
  ⑥ この現象が起こる理論的理由
  論文では、なぜこうした現象が起きるかを理論的に分析しています。
  
  - 損失曲線が「複数のパワー・ローの和」で表現される場合、最適な計算リソース配分を行うと、モデルサイズの依存性がきれいに消えることを数学的に示しています。
  - さらに、確率勾配降下法（SGD）のノイズの挙動を分析する単純な理論モデルを構築し、学習率を減衰させることがノイズを抑え、スーパーコラプスを引き起こすことを説明しています。
  
  

Templates

Summary