# 研究概要 — Hiroki Naganuma

> 最適化理論と大規模学習システムをつなぎ、効率的かつスケーラブルな機械学習を研究しています。

Canonical HTML: https://hiroki11x.github.io/ja/research/

## スケーラブルな事前学習と分散学習

分散・半同期・大規模バッチ手法を通じて、大規模言語モデルと基盤モデルの学習効率を高める研究です。

主要トピック: 大規模言語モデルの事前学習 · 分散深層学習 · 大規模バッチ学習 · 高性能計算

- [Pseudo-Asynchronous Local SGD: Robust and Efficient Data-Parallel Training](https://hiroki11x.github.io/ja/publications/pseudo-asynchronous-local-sgd/) — TMLR 2025 (2025); スケーラブルな事前学習と分散学習
- [Adaptive Batch Sizes Using Non-Euclidean Gradient Noise Scales for Stochastic Sign and Spectral Descent](https://hiroki11x.github.io/ja/publications/adaptive-batch-sizes-using-non-euclidean-gradient-noise-scales/) — ICML 2026 (2026); スケーラブルな事前学習と分散学習; 機械学習の最適化
- [Orth-Dion: Eliminating Geometric Mismatch in Distributed Low-Rank Spectral Optimization](https://hiroki11x.github.io/ja/publications/orth-dion/) — Under Review (2026); スケーラブルな事前学習と分散学習; 機械学習の最適化
- [研究メモ](https://hiroki11x.github.io/posts/research_topics/)

## 機械学習の最適化

学習率スケジュール、非ユークリッド・スペクトル手法、Muon、クリティカルバッチサイズを含む最適化アルゴリズムと学習ダイナミクスの研究です。

主要トピック: 機械学習の最適化 · Muonオプティマイザ · 非ユークリッド最適化 · 学習率スケジュール · クリティカルバッチサイズ

- [What do near-optimal learning rate schedules look like?](https://hiroki11x.github.io/ja/publications/what-do-near-optimal-learning-rate-schedules-look-like/) — TMLR 2026 (2026); 機械学習の最適化
- [Convergence Bound and Critical Batch Size of Muon Optimizer](https://hiroki11x.github.io/ja/publications/convergence-bound-and-critical-batch-size-of-muon/) — Under Review (2025); スケーラブルな事前学習と分散学習; 機械学習の最適化
- [No Wrong Turns: The Simple Geometry Of Neural Networks Optimization Paths](https://hiroki11x.github.io/ja/publications/no-wrong-turns-neural-network-optimization-paths/) — ICML 2024 (2024); 機械学習の最適化
- [Muonオプティマイザ研究メモ](https://hiroki11x.github.io/posts/research_topics/optimization/MUON/)

## 汎化と基盤モデル

分布シフト下の事前学習済みモデルと基盤モデルを対象に、汎化、キャリブレーション、公平性、モデル合成を研究しています。

主要トピック: 基盤モデル · 分布外汎化 · モデルキャリブレーション · 分布シフト · モデルマージ

- [An Empirical Study of Pre-trained Model Selection for Out-of-Distribution Generalization and Calibration](https://hiroki11x.github.io/ja/publications/pre-trained-model-selection-for-ood-generalization-and-calibration/) — TMLR 2025 (2025); 汎化と基盤モデル
- [Generalization Measures under Controlled Covariate Shift: A Regime-Aware Benchmark](https://hiroki11x.github.io/ja/publications/generalization-measures-beyond-iid/) — TMLR 2026 (2026); 汎化と基盤モデル
- [Empirical Study on Optimizer Selection for Out-of-Distribution Generalizations](https://hiroki11x.github.io/ja/publications/optimizer-selection-for-ood-generalization/) — TMLR 2023 (2023); 機械学習の最適化; 汎化と基盤モデル