Hiroki Naganuma

Schedule

直近の Schedule

[今月](https://hiroki11x.github.io/posts/diary/2023_4/) ``` - 直近の締め切り/予定 - 5/2 Ioannis Group での発表 - 5/13 NeurIPS 〆切 - 5/15 NeurIPS x3 (SAM, Curv, Timm) - 5/23 Adam Defence? - 5/24 YUL->SEA - 5/28 MSR Intern Start - 5/? Arxiv (Curvature) - 5/? TMLR x1 (TIC) ```

予定

• 木村さんとの meeting

一日の流れ

• 起きるのが遅かった(寝るのも3時とかだった)

• 家で作業
  • Misc
    • MS の Corporate Housing
      • Benivo 待ち
      • 航空券も同様
    • Atish に返事
  • 研究
    • v4 の実験
    • v4 を CIFAR100 でやる
      • model をかえる
• ジム
  • ランニング
  • 筋トレ(上半身)
• 作業
  • Misc
    • WASAM の実験を回す
      • github を使ってみる

明日やる

• ANA USA Card の電話
  • 夜電話する（日本時間のまともな時）

所感

実験TODO

• SAM-AutoTune
  • WA-SAM
    • github
  • Last Weight Averaging
    • github

実験結果待ち

• ICML Rebuttal w/ Charles
  • WIkitext103 の実験
    • 10 epoch experiments (5 days / Mila Cluster での実行 / BS32 4GPUs )
      • wandb
    • 20 epoch は DGX の 8 gpu とか使わないと無理かも
  • Batch Size Experiments
    • Exact Full Batch ( Rio Cluster ) wandb

TODO

IceBox

• Curvature Regularization
  • docs
• SAM - AutoTune
  • Polyak Step Size 実験
    • github
  • 論文読み
    • https://openreview.net/forum?id=tPEwSYPtAC
    • https://openreview.net/forum?id=kxebDHZ7b7
    • https://arxiv.org/pdf/2312.00209.pdf
• LLM / SAM - AutoTune
  • code
    • data generation (pretraining / downstreaming) は完了！
  • LM 実験準備
    • Tr(H) が downstraem で大事っぽいやつ
    • LLM に関して
      • 論文
      • notion
      • github issue
• 論文読み
  • https://arxiv.org/pdf/2402.18949.pdf
    • これは LinkedIn の研究で書き方として参考にできそう

4/30?

• MSR に向けて
  • Research Proposal 作る
  • google docs

5/20?

• DeepMind に向けて
  • µTransfer
  • 小さいスケールからハイパラ調整する
  • https://claude.ai/chat/61f691a1-3ee6-48a0-99ea-67b1bb7b7295
    • これは Google DeepMind の研究で参考になりそう

???

• Kartik に連絡
• 二反田先生からもらった資料読む

Reference

• TODO - 1/31
• Funding / その他応募締切 - 1/31
• 研究プロジェクト　Notion

Deadline

年間スケジュール

```
参考 URL: https://hiroki11x.github.io/posts/research_topics/ML_Conference/


- BMVC 5/10 https://bmvc2024.org/dates/
  - ?
- NeurIPS 5/15? https://nips.cc/Conferences/2024
  - SAM AutoTune -> Experiments and Writing (LM での実験)
  - Curvature Regularization (パーツはある)
  - Timm OOD (ほぼ終わってる)
- CIKM 5/15? https://www.cikm2024.org/
  - ?
- ICONIP 5/31 https://iconip2024.org/call-for-papers/
  - ?
- ICLR 9/15? https://iclr.cc/Conferences/2024
  - ?
- AISTATS 10/15? https://aistats.org/aistats2024/
  - ?
- MLSys 10/15? https://mlsys.org/Conferences/2024
  - ?
- CVPR 11/15? https://cvpr2024.thecvf.com/
  - ?
```