Hiroki Naganuma

Schedule

直近の Schedule

[今月](https://hiroki11x.github.io/posts/diary/2023_4/) ``` - 直近の締め切り/予定 - 4/15 ZOZO への update - 4/15 歯列矯正 - 4/15 会計報告 - 4/15 Cyberdyne 山海先生 - 4/22 Google PhD Fellowship 申込〆切 - 4/24 Google Monrreal (Atish + Ioannis) - 4/23 アカデミー会 - 4/25 Ioannis Group での発表 - 5/13 NeurIPS 〆切 - 5/15 NeurIPS x3 (SAM, Curv, Timm) - 5/23 Adam Defence? - 5/24 YUL->SEA - 5/28 MSR Intern Start - 5/? Arxiv (Curvature) - 5/? TMLR x1 (TIC) ```

予定

• 歯医者
• Cyberdyne Meeting

一日の流れ

• 歯医者に行った
  • 9月と 12月にモントリオールに戻ってこないといけないかもしれない
• 研究
  • ポスター -> 途中まで終わった
  • 木村さん、斉藤さんへ update
  • クラスター埋める
  • SAM-AutoTune
    • WA-SAM
      • github
    • Last Weight Averaging
      • github
• 山海先生と Meeting
• PP 会計報告
  • 楢木くんに連絡
• Atish に返事

所感

手続き待ち

• PP 経費精算
  • シュレーさんとのミーティング用の領収書発行申請

実験結果待ち

• ICML Rebuttal w/ Charles
  • WIkitext103 の実験
    • 10 epoch experiments (5 days / Mila Cluster での実行 / BS32 4GPUs )
      • wandb
    • 20 epoch は DGX の 8 gpu とか使わないと無理かも
  • Batch Size Experiments
    • Exact Full Batch ( Rio Cluster ) wandb

TODO

• Curvature Regularization

  • docs

  • Focal をまず形にするか？
    • その場合の骨子をわっと書く？
  • Focal 切り出した時の、SAM の話をどう書くか考える
    • 骨子整理 -> Overleaf で整理
    • すること整理
• SAM - AutoTune
  • code
    • data generation (pretraining / downstreaming) は完了！
  • TODO
    • Poster 制作
      • docs / skelton
    • Polyak Step Size 実験
      • github
    • 骨子と、二反田先生に手伝ってもらえるところの整理
    • 論文読み
      • https://openreview.net/forum?id=tPEwSYPtAC
      • https://openreview.net/forum?id=kxebDHZ7b7
      • https://arxiv.org/pdf/2312.00209.pdf
    • LM 実験準備
      • Tr(H) が downstraem で大事っぽいやつ
      • LLM に関して
        • 論文
        • code
        • notion
        • github issue
• 論文読み
  • https://arxiv.org/pdf/2402.18949.pdf
    • これは LinkedIn の研究で書き方として参考にできそう

IceBox

4/12

• 阪大の申請書考える
  • ref
  • 東工大
    • [採択] SAM AutoTune (Youth)
    • [結果待ち] Fantastic Measure (GC)

4/22

• Google PhD Fellowship

4/30?

• MSR に向けて
  • Research Proposal 作る
  • google docs

5/20?

• DeepMind に向けて
  • µTransfer
  • 小さいスケールからハイパラ調整する
  • https://claude.ai/chat/61f691a1-3ee6-48a0-99ea-67b1bb7b7295
    • これは Google DeepMind の研究で参考になりそう

???

• Kartik に連絡
• 二反田先生からもらった資料読む

Reference

• TODO - 1/31
• Funding / その他応募締切 - 1/31
• 研究プロジェクト　Notion

Deadline

年間スケジュール

```
参考 URL: https://hiroki11x.github.io/posts/research_topics/ML_Conference/


- ACMMM 4/8 https://2024.acmmm.org/important-dates
  - Focal Calibration -> Experiments and Writing
- RecSys 4/22 https://recsys.acm.org/recsys24/
  - Logit Control -> Writing
- BMVC 5/10 https://bmvc2024.org/dates/
  - ?
- NeurIPS 5/15? https://nips.cc/Conferences/2024
  - SAM AutoTune -> Experiments and Writing (LM での実験)
  - Curvature Regularization (パーツはある)
  - Timm OOD (ほぼ終わってる)
- CIKM 5/15? https://www.cikm2024.org/
  - ?
- ICONIP 5/31 https://iconip2024.org/call-for-papers/
  - ?
- ICLR 9/15? https://iclr.cc/Conferences/2024
  - ?
- AISTATS 10/15? https://aistats.org/aistats2024/
  - ?
- MLSys 10/15? https://mlsys.org/Conferences/2024
  - ?
- CVPR 11/15? https://cvpr2024.thecvf.com/
  - ?
```