Hiroki Naganuma

Overview

研究でも何回も出てくる資料とか読み直してる資料のリンクや、理解した内容をまとめる場所
管理人の経験は次の通りです
- 2017-2018 (東工大・IBM 基礎研): 高性能計算(深層学習における行列の圧縮による高速化・低ビット演算による高速化・分散並列化)
- 2018-2019 (東工大・理研 AIP): 大規模深層学習における最適化と正則化 (NGD, K-FAC, SWA, Mixup, Smoothing)
- 2019-2020 (東工大): ラージバッチ学習と確率的正則化・ハイパーパラメータ推定 (LARS, Noise Scale)
- 2020-2021 (東工大学振・DENSO IT Lab・CyberAgent AI Lab): 情報行列に基づく汎化指標と学習理論(TIC, NTK), 二次最適化と近似計算(Hvp, AD)、半教師あり学習におけるアンサンブル学習(SSL, ST, SWA)
- 2021-2023 (Mila・DENSO IT Lab・LinkdIn): 分布外汎化と不確実性(OOD Genralization, Calibration), 二次最適化と正則化(K-FAC, Damping)
- 2022-2023 (Mila・明治大) : ドメイン汎化における最適輸送(DA, OT)、敵対的生成モデルと共役勾配法 (GAN, CG)
- 2022- (Mila・ZOZO): 分布外汎化と不確実性(Curvature, OOD Genralization, Calibration)
- 2023- (Mila・理研 AIP): 基盤モデルと汎化(Foundation Model, OOD Genralization, Calibration)
- 2024- (Mila・Microsoft Research・GoogleDeepMind): 大規模言語モデルと最適化 (LLM, Optimization)
- 2025- (Mila・GoogleDeepMind, Meta AI): 大規模言語モデルと最適化 (LLM, Optimization)

Topics

Dynamics

Optimization

Generalization

Foundation Model and LLMs

Other Topics

Project progress board

WIP

OOD Generalization or Calibration

Information Geometry

Others

Complete

TMLR2023 / Optimizer Comparison for OOD Generalization and Optimizer Comparison for Corruption
IJCNN2023 / Distributional Shift for Calibration and OOD Generalization
AISTATS2023 / CG for GANs
ICML2024 / Loss Landscape Geometry
TMLR2024 / IRM and Information Bottleneck
ICLR2025 / Task Arithmtic
(Under Review) TMLR2025 / Model Selection for OOD Generalization
(Under Review) TMLR2025 / Psuedo Asynchronous Local SGD
(Under Review) EMNLP2025 / Fairness for Task Arithmetic

Expired

Resource

Conference Report

Misc