Hiroki Naganuma

Schedule

直近の Schedule

[今月](https://hiroki11x.github.io/posts/diary/2024_07/) - 直近の締め切り/予定 - 7/12 MSR 結果をまとめる - 7/12 NeurIPS Review 〆切 - 7/12 シアトル領事館 - 7/21 MSR Poster 〆切 - 7/24 ICML 発表準備 - 8/17 シアトル日本人研究者の会発表 - 8/? Arxiv (Curvature) - 8/? WACV (Damping)

予定

• MSR 進める
• シアトル領事館 (Reception for Japanese Researchers and IT Professionals)

一日の流れ

• 朝は起きるの遅かった
  • 昨日の韓国料理の残りを食べた
• MSR にきて作業
  • Misc
    • PP の研究関連
      • 吉田くんの実験移動
    • 領事館イベントの予約
    • 航空券関連
    • 9月のスケジューリング (Seattle -> Montreal -> Ottawa -> Montreal -> San Francisco?)
    • Cluster 監視
      • Beluga, Narval, Mila 全部全然 job が流れない
    • 最近読んでる分散深層学習系の論文を blog でまとめる
      • LocalSGD
  • MSR
    • branch を整備 / 計算機ごとに分けた
    • 実験管理を更新
      • spreadsheet
      • K=8
        • H が 32 だけじゃなくて 16 とか 8 でも試すべき
        • H は decoupled の場合、逆にもっと大きくしてもいいかも？
        • OLR = 0.5 は大きすぎて発散する
        • LR=0.001 しか調べられてない
        • S の適正な値を調べる
        • Nesterov x Nesterov はためせてない
      • K=4
        • LR=0.005 だとあんま良くない
        • Decoupled をためせてない
          • OLR = 0.1 だけしかやってない
        • もう少し学習したら loss 下がる気がする
      • K=2
        • H=8 ばかりやってる
        • H=16, 32 を試す
        • OLR は あまり
    • slurm みたいなことを実装
      • t4x4 で実際に動かせた
      • github
      • 結構時間かかった
    • Huy, Hao, Cashayar に挨拶して break に入った
• Conncector で移動
  • Russell + Philipp に進捗報告
• シアトル領事館パーティー
  • あつくんとか、友人に会えたのも良かったし
  • 新しい人に会えたのも良かった
  • が、ああいう大人数の場が得意じゃないなと思った
  • 研究で成果を無限に上げて、自己肯定感を上げて行きたい
• 帰宅後何だか気持ちがのらず作業進まなかった
• LinkedIn で繋がった人の整理

TODOS

• WASAM
  • Language Model
    • github
    • shell
• Curvature Regularization
  • Literature Review

所感

• 生産性の低い1日だった

IceBox

• SAM - AutoTune
  • Polyak Step Size 実験
    • github
  • 論文読み
    • https://openreview.net/forum?id=tPEwSYPtAC
    • https://openreview.net/forum?id=kxebDHZ7b7
    • https://arxiv.org/pdf/2312.00209.pdf

Deadlines

理想的なスケジュール

• 7/12 (金)
  • Literature Review
  • ポスター骨子完成
  • ポスター続き
• 7/13 (土)
  • WASASAM LLM の実装完了

Reference

• TODO - 5/13
• Funding / その他応募締切 - 1/31
• 研究プロジェクト　Notion

Deadline

年間スケジュール

参考 URL: https://hiroki11x.github.io/posts/research_topics/ML_Conference/

学会

- ICLR 9/15? https://iclr.cc/Conferences/2024
- AISTATS 10/15? https://aistats.org/aistats2024/
- MLSys 10/15? https://mlsys.org/Conferences/2024
- CVPR 11/15? https://cvpr2024.thecvf.com/

その他 [fellowship](https://csphdfellowships.org/)

- Microsoft Research PhD Fellowship 夏?
- Apple Scholars in AI/ML PhD Fellowship 7/22?
- NVIDIA Graduate Fellowship Program 9/8?
- Meta Research PhD Fellowship 9/20?
- Qualcomm Innovation Fellowship (QIF) 12/1?
- Google PhD Fellowship 5/?
- JPMC AI PhD Fellowship 5/?