Optimizer
2026年10月の再サーベイ： 研究史・重要文献・最近の進展を整理した新版を追加しました（2026年10月3日基準）。以下は従来のメモです。定義・適用条件の訂正は新版を参照してください。
Optimizer Comparison
Main Papers
- On Empirical Comparisons of Optimizers for Deep Learning: for steps and generalization
- Which Algorithmic Choices Matter at Which Batch Sizes? Insights From a Noisy Quadratic Model: for steps and batchsize
Other Reference
Adam の バイアス補正
