Hiroki Naganuma

Schedule

直近の Schedule

[今月](https://hiroki11x.github.io/posts/diary/2024_08/) - 直近の締め切り/予定 - 8/19 MSR Final Lunch - 8/23 Russell との 最後の Sync - 8/30 MSR Final Talk - 8/30 MSR の最終日 - 8/24 [準備済み] JSPS サンフランシスコの発表 (ICML と同じ発表をする) - 9/6 BRAVE GLOBAL 〆切 - 9/8 NVIDIA Graduate Fellowship Program - 9/13 YUL -> SFO - 9/15 蔵前工業会 シリコンバレー BBQ - 9/15 NeurIPS WS FITML 〆切 (Task Analogies) - 9/16 Google DeepMind 勤務開始 - 9/27 NeurIPS WS OPT 〆切 (MSR) - 9/30 TMLR (Timm OOD) - 10/2 ICLR2025 (SAM AutoTune) - 10/2 ICLR2025 (Task Analogies) - 10/8 PRL (Focal Loss) - 10/3 AISTATS (MSR) - 10/? TMLR? (Damping Schedule) - 11/? Arxiv (Curvature)

予定

• MSR で Final Lunch

一日の流れ

• 朝 MS から荷物を発送
• 書類のスキャンをした
  • Misc
    • 東工大に返事を書いた
    • UdeM 関連
• MSR の仕事
  • Russell と Philipp に Sync をした
  • Xinzhi に返事
  • 試すこと
    • From Scratch の実験
      • PALSGD-do
    • Outer.step で変化があるか？
      • PALSGD-do
• Russell にいいランチに連れていってもらえた
  • ありがたすぎ
  • 彼の PhD supervisor の話も聞けた
• Misc
  • 締め切りが多すぎ、、、死にそう
    • 上にまとめた
  • DeepMind にレンタカー関連聞いてみた
  • JSPS の 1 分間ショートトーク
    • ICML の内容
    • 原稿準備完了
  • Scheduling
  • NVIDIA Fellowship の準備
    • どういうテーマでいくか？
    • なるべく全部を盛り込んで、どうにかストーリーにまとめる
    • これらは博論でも使う
      • OOD と Calibration とかに関して
        • これまでの publication を分類分けしてまとめる
          • [1] Benchmarking + これまでで知られてなかった事実の理解と指針の提案
            • OOD Opt (TMLR) - Optimier の implicit bias
            • Timm OOD (NeurIPS Under Review) - Pre-trained model 選択の指針と、Calibration の Scaling Laws
          • [2] 学習アルゴリズムの理解 (最適化)
            • No Wrong Turn (ICML) - ダイナミクスの理解
            • CGGAN (AISTATS) - Const を使った Minmax と効率的な最適化
          • [3] 汎化の理解と問題解決
            • IRM (TMLR) - Invariant な特徴量の評価メトリックの提案
            • Corruption (IJCNN) - Corruption に対する Robustness の理解
            • TIC (Arxiv) - NTK Regime における 汎化指標
            • MixOT (CoLLAs) - OT における Negative Transfer の改善
            • Focal Loss (PRL) - Focal Loss の情報幾何学的的な理解
          • [4] 学習の高速化・効率化
            • Low Rank Approximation (HPCS)
            • Low Precision (HPC Asia) - 学習におけるボトルネック
            • LARS Schedule (ACML WS) - レイヤーワイズな学習率スケジュールの提案
            • IBM Research () - 分散深層学習における高速な通信ライブラリ
            • SAM Autotune (ICLR Under Review) - AutoTune によるハイパーパラメータ探索の削減
            • MSR (NeurIPS WS) - LLM 学習の高速化
            • Task Analogies (NeurIPS WS) - Task Analogies による finetuning の効率化
• MSR 作業続き
  • Opt に関する debug 続き
    • 色々試してるけどクリアな solution にたどり着かない
  • 残り TODO
    • Connect 準備 (1時間で終える) -> 数時間かかりそうだと分かった
    • Slide 準備 (半日で終えたい)
    • 実験 (これが一番工数読めない)
    • 論文 overleaf
• 帰宅後
  • 無駄なことに時間費やすことになった
  • MSR 続き
  • 精神衛生が良くない

TODOS

• Embedding について
  • Google の解説
• WASAM
  • WASAM の LLM に関するタスクを細かくする
  • WASAM の実験で、二反田先生アドバイスを試してみる

• TPU Setup

• WASAM
  • Language Model
    • github
    • shell
• Curvature Regularization
  • Literature Review

所感

• 色々やること多くてしんどい、、って思ってたけど、自分よりすごい人たちはもっと頑張ってる
• 茂野吾郎は、やらなきゃいけないことを努力とかいってない
• やりたいことを突き詰めて頑張ってる

• Major の OP 聴きながら作業すると立ち直れる

• TODO はカレンダーに入れたりして工数を見積もる

• 帰ってからは何なんだろうなみたいなことが多くて萎えた

IceBox

• SAM - AutoTune
  • Polyak Step Size 実験
    • github
  • 論文読み
    • https://openreview.net/forum?id=tPEwSYPtAC
    • https://openreview.net/forum?id=kxebDHZ7b7
    • https://arxiv.org/pdf/2312.00209.pdf

Deadlines

• 10/2 FRQ
  • gpt でのフランス語→和訳
• 11/3 Qualcomm Innovation Fellowship
• 5/? Google PhD Fellowship
• 10/? Meta Research PhD Fellowship program

Reference

• TODO - 5/13
• Funding / その他応募締切 - 1/31
• 研究プロジェクト　Notion

Deadline

年間スケジュール

参考 URL: https://hiroki11x.github.io/posts/research_topics/ML_Conference/

学会

- ICLR 9/27 https://iclr.cc/Conferences/2024
- AISTATS 10/15? https://aistats.org/aistats2024/
- MLSys 10/15? https://mlsys.org/Conferences/2024
- CVPR 11/15? https://cvpr2024.thecvf.com/

その他 [fellowship](https://csphdfellowships.org/)

- Microsoft Research PhD Fellowship 夏?
- Apple Scholars in AI/ML PhD Fellowship 7/22?
- NVIDIA Graduate Fellowship Program 9/8?
- Meta Research PhD Fellowship 9/20?
- Qualcomm Innovation Fellowship (QIF) 11/1?
- Google PhD Fellowship 5/?
- JPMC AI PhD Fellowship 5/?