長沼 大樹 / Hiroki Naganuma
Research Engineer, NVIDIAVisiting Assistant Prof, Keio University
長沼 大樹 (Hiroki Naganuma) は NVIDIA の Research Engineer です。効率的な事前学習アルゴリズムと Nemotron モデルの事前学習に取り組み、2026 年後半より慶應義塾大学の Visiting Assistant Professor を兼任します。大規模最適化、分散深層学習、大規模言語モデルの効率的な学習を研究しています。
博士論文: Toward Efficient and Scalable Optimization: Theoretical Insights and Practical Challenges
hiroki11x@gmail.com · ORCID · Google Scholar · researchmap · J-GLOBAL
ニュース
- — NVIDIA（米国ワシントン州レドモンド）に Research Engineer として入社。Convergence for High-Efficiency Formulations (CHEF) チームで効率的な事前学習アルゴリズムと Nemotron の事前学習に取り組む。
- — Generalization Measures under Controlled Covariate Shift: A Regime-Aware Benchmark が TMLR に採択。
- — ICML 2026（ソウル）で Adaptive Batch Sizes Using Non-Euclidean Gradient Noise Scales for Stochastic Sign and Spectral Descent を発表。
- — 京都大学 知能情報学コースコロキウム、LinkedIn、ZOZO Research、CYBERDYNE、東京科学大学で招待講演。
- — Université de Montréal / Mila で Ph.D. defence を終えました。博士論文：Toward Efficient and Scalable Optimization: Theoretical Insights and Practical Challenges。
- — What do near-optimal learning rate schedules look like?（Google DeepMind との共同研究）が TMLR に採択。
- — 第 39 回 独創性を拓く 先端技術大賞 ニッポン放送賞を受賞。
- — UJA Young Investigator Award 2026 を受賞。
- — ICLR 2026 に 2 本採択：On Fairness of Task Arithmetic、DiTaC。
研究分野
主要・最新論文
- Understanding Stability of Outer Nesterov Momentum on Stochastic Pseudo-Gradients — arXiv (2026)
- Which Geometry on Which Layer? Measured Sign-Spectral Assignment in Mixed-Optimizer Training — arXiv (2026)
- Generalization Measures under Controlled Covariate Shift: A Regime-Aware Benchmark — TMLR 2026 (2026)
- Adaptive Batch Sizes Using Non-Euclidean Gradient Noise Scales for Stochastic Sign and Spectral Descent — ICML 2026 (2026)
- What do near-optimal learning rate schedules look like? — TMLR 2026 (2026)
- Orth-Dion: Eliminating Geometric Mismatch in Distributed Low-Rank Spectral Optimization — Under Review (2026)
- The Geometry of Spectral Gradient Descent: Layerwise Criteria for SignSGD vs SpecSGD — ICLR 2026 Workshop (2026)
- On Fairness of Task Arithmetic: The Role of Task Vectors — ICLR 2026 (2026)
- DiTaC: Conditioning Task Vectors via Distillation for Robust Model Merging — ICLR 2026 (2026)
- Pseudo-Asynchronous Local SGD: Robust and Efficient Data-Parallel Training — TMLR 2025 (2025)