Hiroki Naganuma

• 無限にタスクがあるので一個一個素早く倒していく

申し込み関連

論文賞

• 2025, 3/30 先端技術大賞
  • これは今年出さなきゃ行けないけど、応用寄りな気がする、GDM での研究を出せるか？？
  • 学生部門と社会人部門あり
  • 将来への夢をかけた独創性、創造性溢れる論文｡
• 2025, 8/31 テレコムシステム技術学生賞
  • 2026年に出してもOK
  • 大学の学部もしくは大学院（修士課程または博士課程）に在学中に研究内容をとりまとめ、学会等に論文を投稿した学生を対象とします。投稿時に在学中であった論文が対象であり、卒業・修了後に投稿した論文は対象外です。また、応募時において在学中であるか、卒業・修了後１年未満であることを要します。
• 2025, 9/14 とめ研究所若手研究者懸賞論文
  • 今年出さなきゃ行けない、ICML? TMLR?
  • 大学院博士前期課程又は後期課程在籍の学生
  • 35歳以下
• 2026, 11/11 JSAI 博士論文掲載

Fellowship 関連

• mlhpc - github funding reference

• その他 fellowship

• かなり先

  • 2025 Apple Scholars in AI/ML PhD Fellowship 7/22? (10/13 確認 - 夏に終わってたかも)
  • 2025 Meta Research PhD Fellowship 9/20? (10/13 確認 - 募集始まってなさそう、例年夏)
  • 2025 Google PhD Fellowship 5/8? (10/13 確認 - 募集始まってなさそう、例年夏)
  • 2025 IBM PhD Fellowship 8/? (10/13 確認 - 募集が 8 月末に終わってた)
• あるかどうか不明
  • 2025 Microsoft Research PhD Fellowship 夏? (10/13 確認 - 2022 年で止まってる)
  • 2024? JP Morgan AI PhD Fellowship 5/? (10/13 確認 - 2023 で止まってる )

Tasks

最優先事項 (主著に集中)

• First Author

  • TODO Submit
    • PALSGD / [TMLR2025] -> 3/?
    • LR Schedule / [NeurIPS2025]
  • IceBox
    • WASASAM / [TMLR2025] -> 3/?

• Corresponding Author

  • TODO Submit
    • Fairness / [CoLM2025]
    • Personalization / [RecSys2025]

中期的にやっていく (数ヶ月以内)

• First Author

  • Curvature - WASAM (一週間)
    • docs
    • code
      • data generation (pretraining / downstreaming) は完了！
    • LM 実験準備
      • Tr(H) が downstraem で大事っぽいやつ
      • LLM に関して
        • 論文
        • notion
        • github issue
    • Polyak Step Size 実験
      • github
    • 論文読み
      • https://openreview.net/forum?id=tPEwSYPtAC
      • https://openreview.net/forum?id=kxebDHZ7b7
      • https://arxiv.org/pdf/2312.00209.pdf
    • PALSGD の実装に WASASAM をつける
    • WASAM の LLM に関するタスクを細かくする
    • WASAM の実験で、二反田先生アドバイスを試してみる
    • 二反田先生からもらった資料読む
• Embedding について
  • Google の解説
• TPU Setup
• https://github.com/facebookresearch/lingua になれる

長期的にやっていく (一年以内)

• First Author
  • MLHPC
    • Damping Study / TMLR -> ?/?
      • plot
      • 学習はこれ
  • Industry
    • TIC / DENSO IT Lab, CyberAgent AI Lab / [TMLR?] -> ?

Pending

• Calibration @LinkedIn / RecSys -> 4/19

論文読み

• Improving Group Connectivity for Generalization of Federated Deep Learning

  • これは LinkedIn の研究で書き方として参考にできそう

• 読み物 1

  • 論文執筆/プレゼン資料作成時の参考資料
  • 因果推論 スライド
  • LayerNorm
  • 統計モデリング入門 2015 (f)
  • 一般化線形混合モデル (GLMM)

• 読み物 2

  • 国際会議で発表する
  • 主成分分析 / Nospare
  • 数理・データサイエンス教育強化拠点コンソーシアム
  • 無限次元勾配ランジュバン動力学による深層学習の最適化と汎化誤差解析
  • 機械学習における連続最適化の新しいトレンド
  • 因果推論の道具箱
  • リーマン多様体上の最適化―特異値分解の例を通して―

• 読み物 3

  • 大規模言語モデル(LLM)の作り方 Megatron-DeepSpeed 編 Part2
  • User-friendly introduction to PAC-Bayes bounds
  • LLM Calibration and Automatic Hallucination Detection via Pareto Optimal Self-supervision

• 読み物 4

  • モデルパラメータの算術
  • Transformer とは何か？ 「ChatGPT」や「Gemini」を生み出した超重要技術の進化
  • [KDD2023 論文読み会] BERT4CTR: An Efficient Framework to Combine Pre-trained Language Model with …
  • Python(PyTorch)で自作して理解する Transformer
  • 時系列解析（３）/ TIC
• みたい研究紹介 Youtube
• 【ソニー社内講演】拡散モデルと基盤モデル
  • 【nnablaRL アルゴリズム解説】方策勾配法(REINFORCE)
  • 【学会聴講報告】NeurIPS2022 における拡散モデル研究動向 part1
  • 【学会聴講報告】NeurIPS2022 における拡散モデル研究動向 part2
  • 【AI 論文解説】Uni-Perceiver-MoE: スパース性の導入による汎用モデルの高速化
  • 【ICLR2023 論文解説】Transformer に代わる次世代のモデル？Hungry Hungry Hippos の紹介【cvpaper.challenge コラボ企画】
  • 【ICLR2023 論文解説】学習済み Vision Transformer を 2 倍高速化！？Token 削減の新手法: Token Merging【cvpaper.challenge コラボ企画】
  • 【ICLR2023 論文解説】ベイズ誤差推定による機械学習タスク難易度の定量化と SOTA モデル評価【cvpaper.challenge コラボ企画】
  • 【ICLR2023 論文解説】意外すぎるほどシンプルな Few-shot Domain Adaptation 新手法！Latent Code Learning【cvpaper.challenge コラボ企
  • 【ICLR2023 論文解説】Classification by Description: LLM を用いた説明可能性の高い画像分類フレームワーク【cvpaper.challenge コラボ企画】

Others