研究概要

スケーラブルな事前学習と分散学習

分散・半同期・大規模バッチ手法を通じて、大規模言語モデルと基盤モデルの学習効率を高める研究です。

主要トピック: 大規模言語モデルの事前学習 · 分散深層学習 · 大規模バッチ学習 · 高性能計算

関連する代表論文

• Pseudo-Asynchronous Local SGD: Robust and Efficient Data-Parallel Training — TMLR 2025
• Adaptive Batch Sizes Using Non-Euclidean Gradient Noise Scales for Stochastic Sign and Spectral Descent — ICML 2026
• Orth-Dion: Eliminating Geometric Mismatch in Distributed Low-Rank Spectral Optimization

研究メモ

機械学習の最適化

学習率スケジュール、非ユークリッド・スペクトル手法、Muon、クリティカルバッチサイズを含む最適化アルゴリズムと学習ダイナミクスの研究です。

主要トピック: 機械学習の最適化 · Muonオプティマイザ · 非ユークリッド最適化 · 学習率スケジュール · クリティカルバッチサイズ

関連する代表論文

• What do near-optimal learning rate schedules look like? — TMLR 2026
• Convergence Bound and Critical Batch Size of Muon Optimizer
• No Wrong Turns: The Simple Geometry Of Neural Networks Optimization Paths — ICML 2024

Muonオプティマイザ研究メモ

汎化と基盤モデル

分布シフト下の事前学習済みモデルと基盤モデルを対象に、汎化、キャリブレーション、公平性、モデル合成を研究しています。

主要トピック: 基盤モデル · 分布外汎化 · モデルキャリブレーション · 分布シフト · モデルマージ

関連する代表論文

• An Empirical Study of Pre-trained Model Selection for Out-of-Distribution Generalization and Calibration — TMLR 2025
• Generalization Measures under Controlled Covariate Shift: A Regime-Aware Benchmark — TMLR 2026
• Empirical Study on Optimizer Selection for Out-of-Distribution Generalizations — TMLR 2023