Hiroki Naganuma

Schedule

直近の Schedule

[今月](https://hiroki11x.github.io/posts/diary/2024_08/) - 直近の締め切り/予定 - 8/16 MSR Code 共有 - 8/17 シアトル日本人研究者の会発表 / UW ランチ - 8/19 MSR Final Lunch - 8/23 Russell との 最後の Sync - 8/24 JSPS サンフランシスコの発表 (ICML と同じ発表をする) - 8/? Arxiv (Curvature) - 9/6 BRAVE GLOBAL 〆切 - 9/9 WACV2025 (Damping) - 10/2 ICLR2025 (SAM AutoTune)

予定

• MSR 進める

一日の流れ

• 朝は NeurIPS の rebuttal
• 朝食食べた
• MacOS の update
• v100 の実験確認
  • intended じゃない方が convergence が良い結果になった
  • が、spike みたいなのが ddp に比べるとある、なぜだ、、、
  • t4x4 の時は、intended だと発散してた、、lr の大きさか？？（Adam だからというのもありそう）
  • t4x4 の結果はフェアじゃないので、忘れる
    • v10 として、v100 だけでなく t4x4 でも実験
• MSR に来た
  • Packaged
  • 実験周りいろいろ
  • RLOpt 関連
  • MacOS の update
• Russell と Lunch
  • インダストリとアカデミアの話をいろいろした
• MSR での作業
  • うまくいかない、、、
• Misc
  • NVIDIA Fellowship
    • Ioannis と 横田先生に推薦状を依頼
  • CAQ の延長関連
    • Mila でいろいろ聞いた
    • メールの下書きした
• MSR
  • 少し、何が要因かの分析を進めた
  • そもそも以前の実験結果がなぜうまくいったか謎なのでそれを探る
  • T4x4 で best だと思ってた実験は decoupled ではなかった
    • 001 はともかく、007 もいい結果になるかを見るための実験を bench で投げた
      • wandb
  • 考え、最初の x_cent での outer grad の計算がやばいのでは？？
    • debug ではうまくいったが、bench でうまくいかないケースが多かった
• 帰宅後、買い物に出かけた
• シャワー＋夕食
• 作業
  • Misc
    • CAQ の延長関連
    • NeurIPS Rebuttal 関連
  • MSR
    • 詰まってた問題がとけたかも！(不安定性)
      • 数理的というより、実装に移すときの問題だったっぽい
    • ただし、Spike のとこだけ解決してない
• 帰宅後 v100 での実験を投げる
  • debug 投げた
  • 早朝に benchmark も投げた

TODOS

• Embedding について
  • Google の解説

-

• WASAM
  • WASAM の LLM に関するタスクを細かくする
  • WASAM の実験で、二反田先生アドバイスを試してみる

• TPU Setup

• WASAM
  • Language Model
    • github
    • shell
• Curvature Regularization
  • Literature Review

所感

IceBox

• SAM - AutoTune
  • Polyak Step Size 実験
    • github
  • 論文読み
    • https://openreview.net/forum?id=tPEwSYPtAC
    • https://openreview.net/forum?id=kxebDHZ7b7
    • https://arxiv.org/pdf/2312.00209.pdf

Deadlines

• 10/2 FRQ
  • gpt でのフランス語→和訳
• 11/3 Qualcomm Innovation Fellowship
• 5/? Google PhD Fellowship
• 10/? Meta Research PhD Fellowship program

Reference

• TODO - 5/13
• Funding / その他応募締切 - 1/31
• 研究プロジェクト　Notion

Deadline

年間スケジュール

参考 URL: https://hiroki11x.github.io/posts/research_topics/ML_Conference/

学会

- ICLR 9/27? https://iclr.cc/Conferences/2024
- AISTATS 10/15? https://aistats.org/aistats2024/
- MLSys 10/15? https://mlsys.org/Conferences/2024
- CVPR 11/15? https://cvpr2024.thecvf.com/

その他 [fellowship](https://csphdfellowships.org/)

- Microsoft Research PhD Fellowship 夏?
- Apple Scholars in AI/ML PhD Fellowship 7/22?
- NVIDIA Graduate Fellowship Program 9/8?
- Meta Research PhD Fellowship 9/20?
- Qualcomm Innovation Fellowship (QIF) 11/1?
- Google PhD Fellowship 5/?
- JPMC AI PhD Fellowship 5/?