Hiroki Naganuma

Schedule

直近の Schedule

[今月](https://hiroki11x.github.io/posts/diary/2024_12/) - 直近の締め切り/予定 - 12/11 Meta Interview - 12/14,15 NeurIPS WS - 1/31 ICML (Learning Rate Schedule) - 2/? TMLR? (Damping Schedule) - 2/? Arxiv (Curvature)

予定

• GDM Week 13 work from Japan
• MSF 懇親会

今日終わらせること

• GDM の色々

数日中には終わらせたいこと

• WASASAM 実験

一日の流れ

• 朝早く起きて６時台には、東京オフィスに出社
• 朝食も最高だった

• Misc

  • Meta の Interview
  • Mila Cluster を埋める
  • マッサージ受けた (金曜にも予約した)
• Heiga さん Ukai さん、Shigeta さんとランチ

• Misc

  • クレカ二重請求関連
  • 木村さん幡谷さんに連絡
  • Mila Cluster 埋める
    • Timm OOD for TMLR Rebuttal
    • PALSGD for TMLR Submission
• MSF 会場まで移動
  • 電車での作業
    • Misc
      • メール色々

• MSF 年末懇親会

  • やらないと取り残される
  • いろんな人と話せたのはよかった
    • アメリカ：荒川くん・五十嵐さん、中島さん
    • カナダ：Namekata くん
    • イギリス：徐くん、大塚くん、
    • 日本：Kotoba Technologies の、笠井さん、小島さん / 森くん、矢口くん、岡本さん
    • 他にもいろんな方々
• 帰宅
• Misc
  • 雑務を片付ける

喫緊の TODOS

• Misc

  • MSF の申請書も作らないと

• 研究関連

  • DGX Cluster どうにかしないと勿体無い
  • Narval もううめないと勿体無い

• Project

  • GDM
    • 解決しなきゃいけない CL がいっぱいある
  • MSR
    • GPT-NEO の実験

PALSGD

• OpenDiLoCo 系の実装に倣うのが良さそう

  • simple diloco

  • open diloco

  • Language Modeling のための分散手法だとして、基本的にメインの実験は全て C4 で行う
  • さらに、DN をつけるつけないとか、手法の技術の組み合わせを decompose していろんな実験をしているように見せる工夫が良さそう
    • 我々の場合だったら
      • Outer grad を使うか使わないか
      • どのような Outer optimizer を使うか
      • Sync の周期や、K の大きさなど、Ablation Study できることが色々ありそう

中期的な TODO

• (1/10) Meta Montreal AI Mentorship Program https://www.metacareers.com/jobs/925575806198843/

所感

Deadlines

• 1/? Meta Research PhD Fellowship program

Reference

• TODO - 12/7
• Funding / その他応募締切 - 1/31
• 研究プロジェクト Notion

Deadline

年間スケジュール

参考 URL: https://hiroki11x.github.io/posts/research_topics/ML_Conference/

学会

- NeurIPS WS 12/14,15

その他 [fellowship](https://csphdfellowships.org/)

- そのうちあるかな？？

  - 2025 Meta Research PhD Fellowship 9/20? (10/13 確認 - 募集始まってなさそう)

- かなり先

  - 2025 Apple Scholars in AI/ML PhD Fellowship 7/22? (10/13 確認 - 夏に終わってたかも)
  - 2025 Google PhD Fellowship 5/8? (10/13 確認 - 募集始まってなさそう)
  - 2025 IBM PhD Fellowship 8/? (10/13 確認 - 募集が 8 月末に終わってた)

- あるかどうか不明
  - 2025 Microsoft Research PhD Fellowship 夏? (10/13 確認 - 2022 年で止まってる)
  - 2024? JP Morgan AI PhD Fellowship 5/? (10/13 確認 - 2023 で止まってる )