Hiroki Naganuma

Schedule

直近の Schedule

[今月](https://hiroki11x.github.io/posts/diary/2024_12/) - 直近の締め切り/予定 - 1/31 ICML (Learning Rate Schedule) - 2/? TMLR? (Damping Schedule) - 2/? Arxiv (Curvature)

予定

• GDM14週目
• 車関連

今日終わらせること

数日中には終わらせたいこと

• WASASAM 実験

一日の流れ

• 朝はMP2 でいい朝食食べた
• MP3 でコーヒー飲みながら作業
  • Misc
    • Airbnb 色々
    • Atish
    • MSR に update
    • 来年の夏に向けて
      • MSR
      • GDM
• Google Sunnyvale - Humboldt にいどう
  • GDM の仕事
• ルーローハンみたいなランチ食べた

• GDM 作業続き @Humboldt3

• 帰宅
  • PP の meeting
• GDM の仕事をある程度ちゃんとやった

喫緊の TODOS

• 研究関連

  • DGX Cluster どうにかしないと勿体無い
  • Narval もううめないと勿体無い

• Project

  • MSR
    • GPT-NEO の実験

PALSGD

• OpenDiLoCo 系の実装に倣うのが良さそう

  • simple diloco

  • open diloco

  • Language Modeling のための分散手法だとして、基本的にメインの実験は全て C4 で行う
  • さらに、DN をつけるつけないとか、手法の技術の組み合わせを decompose していろんな実験をしているように見せる工夫が良さそう
    • 我々の場合だったら
      • Outer grad を使うか使わないか
      • どのような Outer optimizer を使うか
      • Sync の周期や、K の大きさなど、Ablation Study できることが色々ありそう

中期的な TODO

• (1/10) Meta Montreal AI Mentorship Program https://www.metacareers.com/jobs/925575806198843/

所感

Deadlines

• 1/? Meta Research PhD Fellowship program

Reference

• TODO - 12/7
• Funding / その他応募締切 - 1/31
• 研究プロジェクト Notion

Deadline

年間スケジュール

参考 URL: https://hiroki11x.github.io/posts/research_topics/ML_Conference/

その他 [fellowship](https://csphdfellowships.org/)

- そのうちあるかな？？

  - 2025 Meta Research PhD Fellowship 9/20? (10/13 確認 - 募集始まってなさそう)

- かなり先

  - 2025 Apple Scholars in AI/ML PhD Fellowship 7/22? (10/13 確認 - 夏に終わってたかも)
  - 2025 Google PhD Fellowship 5/8? (10/13 確認 - 募集始まってなさそう)
  - 2025 IBM PhD Fellowship 8/? (10/13 確認 - 募集が 8 月末に終わってた)

- あるかどうか不明
  - 2025 Microsoft Research PhD Fellowship 夏? (10/13 確認 - 2022 年で止まってる)
  - 2024? JP Morgan AI PhD Fellowship 5/? (10/13 確認 - 2023 で止まってる )