Overview
- 研究でも何回も出てくる資料とか読み直してる資料のリンクや、理解した内容をまとめる場所
- 管理人の経験は次の通りです
- 2017-2018 (東工大・IBM 基礎研): 高性能計算(深層学習における行列の圧縮による高速化・低ビット演算による高速化・分散並列化)
- 2018-2019 (東工大・理研 AIP): 大規模深層学習における最適化と正則化 (NGD, K-FAC, SWA, Mixup, Smoothing)
- 2019-2020 (東工大): ラージバッチ学習と確率的正則化・ハイパーパラメータ推定 (LARS, Noise Scale)
- 2020-2021 (東工大学振・DENSO IT Lab・CyberAgent AI Lab): 情報行列に基づく汎化指標と学習理論(TIC, NTK), 二次最適化と近似計算(Hvp, AD)、半教師あり学習におけるアンサンブル学習(SSL, ST, SWA)
- 2021-2023 (Mila・DENSO IT Lab・LinkdIn): 分布外汎化と不確実性(OOD Genralization, Calibration), 二次最適化と正則化(K-FAC, Damping)
- 2022-2023 (Mila・明治大) : ドメイン汎化における最適輸送(DA, OT)、敵対的生成モデルと共役勾配法 (GAN, CG)
- 2022- (Mila・ZOZO): 分布外汎化と不確実性(Curvature, OOD Genralization, Calibration)
- 2023- (Mila・理研 AIP): 基盤モデルと汎化(Foundation Model, OOD Genralization, Calibration)
- 2024- (Mila・Microsoft Research・GoogleDeepMind): 大規模言語モデルと最適化 (LLM, Optimization)
- 2025- (Mila・GoogleDeepMind・Meta): 大規模言語モデルと最適化 (LLM, Optimization, Critical Batch Size)
- 2026- (Mila): 最適化と基盤モデル (Optimization, Foundation Model)
Topics
Dynamics
Optimization
Generalization
Foundation Model and LLMs
Other Topics
Complete
Under Review
- TMLR2026 / Muon and Critical Batch Size
- ICML2026 / Generalization Measures
- ICML2026 / Critical Batch Size for Non-Euclidean Geometry
- Patent (LinkedIn - Microsoft) / LogitNorm for Calibration
Expired
Resource
Conference Report
Intern Report
Misc