Hiroki Naganuma

Schedule

直近の Schedule

[今月](https://hiroki11x.github.io/posts/diary/2024_09/) - 直近の締め切り/予定 - 9/23 Xinzhi と Meeting - 9/27 NeurIPS WS OPT 〆切 (MSR) - 9/30 TMLR (Timm OOD) - 10/1 PRL (Focal Loss) - 10/1 NeurIPS WS FITML 〆切 (Task Analogies) - 10/2 ICLR2025 (SAM AutoTune) - 10/2 ICLR2025 (Task Analogies) - 10/3 AISTATS (MSR) - 10/? TMLR? (Damping Schedule) - 11/? Arxiv (Curvature) - 11/11 UdeM 奨学金 (https://esp.umontreal.ca/fileadmin/esp/documents/Soutien_financier/Bourses_en_IA_2024_pres_etud.pdf) - 11/21 Jane Street 奨学金 (https://www.janestreet.com/join-jane-street/programs-and-events/graduate-research-fellowship/)

予定

• Airbnb 関連
• PP Meeting

今日終わらせること

数日中には終わらせたいこと

• vomit draft (MSR)
• PRL Rebuttal

一日の流れ

• 朝起きるの遅かった
• PALSGD の実験
  • 全然進まない、、、
    • ResNet (PALSGD のみ)
      • OOM で RTX はおちる、、、
        • 4BS/GPUx 16ACCUM x 4GPU でだめなのを RTX8000 で確認
        • 解決しない、、、
        • L40S で投げたけどいけるのか？？
          • ダメだった
        • TSUBAME の H100 も使いたいけど、ポイントが足りない
        • Rio Cluster でそもそも動くかデバッグしてみる
          • RTX8000 よりも、 GTX1080 とかの方がメモリ小さいので、Rio CLuster で動いたら、RTX はメモリの問題ではなくなる
          • GTX1080 でも bs_per_gpu: 4 で落ちてるな、、、
        • これは、かなりメモリ大きくないと IN 1K スケールは解決しないかも？
          • beluga の V100 でもきつい気がする
          • Narval の A100 が開くのを待つか？？
        • 実装的なミスも考えられる
          • DiLoCo は動いてる
            • GTX1080 では試してもない？
              • DiLoCo でも PALSGD でも試してみる
              • BS4 - Acc 16 で動くのを確認
            • RTX8000 では、この設定で動かない、、なぜ、、、
          • PALSGD と使うメモリのサイズがそんなに異なるのか？
            • [1] LR の save が違う、 store するんじゃなくて計算し直させるように変更？
              • でもエラーが出てるのは PALSGD の update するよりも前なので、違うかも
            • [2] starting training loop, training epoch で落ちてる
              • もしかしたら switch from DDP の後なのか？
              • print するようになってるけど、それは出てないので違いそう
      • Beluga, Narval では queued のまま動かない
    • DistilBert
      • 1実験 30-40時間 くらいかかる、、、
      • V100x8 で実行中
• 昼飯食べる
• Airbnb
  • 色々修理してもらった
• MSR が終わらない
• Mila の Cluster が全然使えない
  • Cedar にアクセスできない
  • Beluga や Narval は Mila の中ではアクセスできてる方っぽいけど、それでも全然動いてない
  • IN1K
    • [2GPU] IN1K wandb
    • [4GPU-RTX8000] IN1K wandb
    • [4GPU-V100] IN1K wandb
  • DistilBERT
    • [8GPU] BERT wandb
• Misc
  • Ioannis に返事
• PRLを進める
• 一時くらいには諦めて寝た

TODOS

• PRL への rebuttal
  • ひとつひとつにコメントつけていく
  • どの実装で、どの figure plot したのかの対応付けをする
• Embedding について
  • Google の解説
• WASAM
  • WASAM の LLM に関するタスクを細かくする
  • WASAM の実験で、二反田先生アドバイスを試してみる

• TPU Setup

• Curvature Regularization
  • Literature Review

所感

IceBox

• SAM - AutoTune
  • Polyak Step Size 実験
    • github
  • 論文読み
    • https://openreview.net/forum?id=tPEwSYPtAC
    • https://openreview.net/forum?id=kxebDHZ7b7
    • https://arxiv.org/pdf/2312.00209.pdf

Deadlines

• 11/3 Qualcomm Innovation Fellowship
• 5/? Google PhD Fellowship
• 10/? Meta Research PhD Fellowship program

Reference

• TODO - 5/13
• Funding / その他応募締切 - 1/31
• 研究プロジェクト　Notion

Deadline

年間スケジュール

参考 URL: https://hiroki11x.github.io/posts/research_topics/ML_Conference/

学会

- ICLR 9/27 https://iclr.cc/Conferences/2024
- AISTATS 10/15? https://aistats.org/aistats2024/
- MLSys 10/15? https://mlsys.org/Conferences/2024
- CVPR 11/15? https://cvpr2024.thecvf.com/

その他 [fellowship](https://csphdfellowships.org/)

- Microsoft Research PhD Fellowship 夏?
- Apple Scholars in AI/ML PhD Fellowship 7/22?
- NVIDIA Graduate Fellowship Program 9/8?
- Meta Research PhD Fellowship 9/20?
- Qualcomm Innovation Fellowship (QIF) 11/1?
- Google PhD Fellowship 5/?
- JPMC AI PhD Fellowship 5/?