Hiroki Naganuma

Shampoo: Shampoo Optimizer

長沼大樹 / Hiroki Naganuma

2026年10月の再サーベイ： 研究史・重要文献・最近の進展を整理した新版を追加しました（2026年10月3日基準）。以下は従来のメモです。定義・適用条件の訂正は新版を参照してください。

Papers

背景の歴史的経緯

arxiv 1802: Shampoo: Preconditioned Stochastic Tensor Optimization で Vineet Gupta (Google) が 2018 に提案

その後、

arxiv 2002: Scalable Second Order Optimization for Deep Learning

で Rohan Anil (Google Research) らが大規模分散学習に対応させたバージョンを提案

arxiv 2406: A New Perspective on Shampoo’s Preconditioner

で Sham Kakade(Harvard) が Shampoo^2 を提案

解釈