博士号取得後(2026 年春見込み)のポジションを探しています
Université de Montréal, Mila で博士後期課程に在籍中の長沼大樹（Hiroki Naganuma）と申します。
Google DeepMind, Microsoft Research、LinkedIn などの米国でのインターン経験を通じ、
LLM や大規模分散深層学習の効率化・高速化、Out-of-Distribution (OOD) Generalization・Calibration、などの研究に携わってきました。
特に、HPC (High Performance Computing) のスキルを背景として、大規模な深層学習の問題や理解に取り組んでいます。
博士号取得(2026 年春見込み)後の就職先としてアカデミア・インダストリに関係なく研究ポジションを検討しています。興味をもっていただいた方はご連絡いただけると幸いです。
[CV (March, 2025)] / naganuma.hiroki@mila.quebec / [X(twitter)]
やってきたこと
1. Out-of-Distribution Generalization・Calibration のベンチマーク構築
深層学習モデルが学習時とは異なる分布（分布シフト）下でも性能を維持できるかを評価・改善することは、実運用での信頼性向上に直結します。
- 最適化手法として一般に用いられる Adam を使用する際に問題となるケースを指摘し、最適化手法の選択が分布外汎化性能 (OOD Generalization) に重大な影響を与えることを実証 [TMLR2023]
- 事前学習モデル（Pre-trained Model）の選定と分布外汎化性能およびキャリブレーション性能の関係を調査し、スケーリング則を確立 [Under Review]
- 自動運転シナリオにおける画像分類タスクの主要な分布シフト要因を定量的に解析 [IJCNN2023]
- 倫理的な問題が重要になるシナリオにおける公平性の問題を定量的に評価 [Under Review]
2. 最適化・学習ダイナミクスの解明
大規模非凸最適化問題である深層学習の収束性を理論的に捉え、実験で検証する研究を推進しています。
- ニューラルネットワークの学習過程を幾何学的観点から分析し、その学習ダイナミクスの安定的な特性を数理的に議論 [ICML2024]
- GAN などの Minimax 問題に対して収束保証を示す最適化手法（共役勾配法の拡張）を提案し、理論と実装のギャップを埋める [AISTATS2023]
- 分散深層学習においてトレードオフとなる通信とモデルの性能のトレードオフを緩和する分散アルゴリズムを提案 [Under Review]
- Learning rate が学習ダイナミクスに及ぼす影響を大規模な実験をもとに解析 [Under Review]
3. 学習アルゴリズムの制御による堅牢性と信頼性の向上
学習の安定性や汎化性能は、最適化される目的関数の曲率とも深く関連します。
- 適応的な学習率を使った既存手法の限界を克服するため、曲率を制御する最適化戦略を提案し、モデルの性能を改善 [Under Review]
- 不確実性校正にしばしば用いられる Focal Loss を「曲率正則化」として再解釈し理論的な洞察を提供 [Pattern Recognition Letters - PRL2025]
- 既存の OOD 対策アルゴリズムである IRM (Invariant Risk Minimization) の限界を明らかにし、キャリブレーションの観点を取り入れる重要性を指摘 [TMLR2024]
- LLM の効率的な学習方法である Task Arithmetic の干渉の問題を評価する 指標を提案し、干渉を最小化する学習アルゴリズムを提案 [ICLR2025]
HPC に基づく大規模ベンチマークと理論的枠組みを行き来しながら、現場で本当に役立つ堅牢な AI 手法を追究しています。
詳細は Web サイト にもまとめています。
経歴
2020 年 9 月よりモントリオール大学 コンピュータ科学専攻 博士課程に在籍し、Mila（Quebec - AI Institute）に所属しています（指導教員：Ioannis Mitliagkas 准教授）。
博士課程では主に、LLM を含む大規模分散深層学習や Out-of-Distribution (OOD) Generalization、不確実性推定（Calibration）に関する研究に取り組んでいます。
これまでに、米国でのインターンとして Google DeepMind にて 学習率スケジューリングの研究、
Microsoft Research Redmond (Phi Model Team)にて大規模言語モデルの基盤技術に関する研究、
LinkedIn AI Foundation Team（2021/22/23 年の各夏期）にて Calibration と OOD Generalization に関する研究を行いました。
日本国内では、ZOZO Research、CyberAgent AI Lab, DENSO IT Laboratory, IBM Research Tokyo, 理化学研究所 AIP などでの研究インターンを経験しました。
学部・修士課程では東京工業大学の横田理央研究室に所属し、2017 年に学士課程を Dean’s Award（情報理工学院長 奨励賞）、2019 年に修士課程を総代として修了。
HPC をベースとした大規模深層学習の高速化やスケーラビリティの研究を行っていました。
また、孫正義育英財団の第 1 期奨学生として学費・研究費・海外渡航支援を受けるなど、複数の奨学金・助成金に支援いただきました
(日本学術振興会 特別研究員、重田教育財団、JASSO 海外留学支援制度（大学院学位取得型）給付型奨学金、JHPCN 萌芽的研究課題、TSUBAME グランドチャレンジなど)。
深層学習理論と大規模計算の両輪で研究を進めており、とりわけ最適化・汎化・学習ダイナミクス、および分布外汎化・キャリブレーション などに興味を持っています。
日本・カナダ・アメリカでの産学での研究経験をもとに、海外大学院進学の相談にも応じており、学部生・修士学生のメンタリングを継続的に行っています。
その他
研究助成・計算資源の獲得
- 大阪大学 大規模計算システム公募型利用・人工知能研究支援枠（2025-2026）
- ANRI Fellowship（2024-2025）
- 学際大規模情報基盤共同利用・共同研究拠点（JHPCN） 萌芽的研究課題（2022-2025）
- TSUBAME 若手・女性利用者支援制度（2022-2025）
- 産総研 ABCI グランドチャレンジプログラム（2021, 2023）
- 東京工業大学 TSUBAME グランドチャレンジ（2021）
- 日本学術振興会 特別研究員 DC2（2020, 海外大学院進学により途中辞退）
- 孫正義育英財団 研究助成（2017-2022）
ほか、多数の HPC プロジェクトに採択され、累計数十万 GPU 時間規模の大規模計算リソースを取得。
メンタリング・研究指導
国内外の学部生・修士学生 (Stanford・Caltech・University of Washington・東工大・京都大学・東京大学・立命館大学 など)の研究を指導し、
分布外汎化・不確実性推定・最適化などのテーマで共著論文を執筆
- これまで指導した学生との共著論文が
- 国際学会（ICLR2025, TMLR2024, IJCNN2023, ACMMM2023 WS, NeuRIPS2024 WS）に採択、COLM2025, NeurIPS2025 に投稿中
- 国内ワークショップで学生奨励賞等の受賞歴も複数 (FIT2023, IPSJ2023-2024, NLP2024 など)
- Travel Grant 等を複数受賞 (2023 年度 NEC C&C 財団 国際会議等研究者派遣助成金, 2023 年度 情報科学国際財団 研究者海外派遣助成 など)
その他コミュニティ活動・社会貢献
- JSPS Alumni Association – Québec Chapter 設立メンバー
- スタートアップ関連コミュニティ（突き抜ける人財ゼミ 6 期生, 東工大 CUMOT アントレプレナーシッププログラム 1 期, 東大 IPC 1stRound 8 期, 2022 年度 NEDO TCP）への採択
- 海外大学院への留学相談・講演実績多数（モントリオール・シアトル・オタワ日本人コミュニティ、米国大学院学生会、Xplane など）
今後について
- 2026 年春頃の博士号取得を目指しております。
- 取得後はアカデミア・インダストリを問わず、大規模分散深層学習、分布外汎化、LLM 研究などに携わるポジションを探しています。
- スパコンを含む大規模実験の経験を活かし、理論・実装両面からスケーラブルで堅牢な AI 技術を探求していきたいと考えています。
- 世代の近い研究者とある程度長いスパンで課題に取り組めることを望みます。
- 勤務地およびリモート可/不可にこだわりはありません。