Hiroki Naganuma

Schedule

直近の Schedule

[今月](https://hiroki11x.github.io/posts/diary/2023_5/) - 直近の締め切り/予定 - 5/7 山村さん講演 - 5/9 Cyberdyne Meeting - 5/10 送別会？？ - 5/15 Ioannis と 1on1 - 5/15 NeurIPS 〆切 - 5/16 Ioannis Group Meeting - 5/21 Ioannis と 1on1 - 5/22 NeurIPS x3 (SAM, Curv, Timm) - 5/23 Adam Defence? - 5/24 YUL->SEA - 5/28 MSR Intern Start - 5/? Arxiv (Curvature) - 5/? TMLR x1 (TIC)

予定

• Timm OOD の文章修正

一日の流れ

• 朝はカレードリア食べた
• OFLORE にきて作業
  • Misc
    • Airbnb 予約
    • 送別会関連
  • WASAM 実験管理
    • Wandb 更新
• 家に帰ってきてから作業
  • Misc
    • Canada Compute (Digital Research Aliance of Canada)
      • 色々リニューアル
      • URL
  • TimmOOD を進める
    • CLIP / WILDSCamelyon は全部 appendix におくる
      • 実験何やったかを記述
      • データセット
      • 本文中でやったことは明記
      • Ioannis と話しながら書いてみる
    • Trvial みたいな話 -> 書き方でどうにかする
    • 参考文献とその議論不十分
    • Rebuttal の反映
      • Literature and Novelty
      • How We Leverage Our Observation
      • Limitation of Algorithm and Optimizer Comparison
• 読み物
  • Documenting your PhD — Keeping Track of Meetings, Experiments and Decisions

所感

実験結果待ち

• ICML Rebuttal w/ Charles
  • WIkitext103 の実験
    • 10 epoch experiments (5 days / Mila Cluster での実行 / BS32 4GPUs )
      • wandb
    • 20 epoch は DGX の 8 gpu とか使わないと無理かも

TODO

• NeurIPS x2

IceBox

• Curvature Regularization
  • docs
• SAM - AutoTune
  • Polyak Step Size 実験
    • github
  • 論文読み
    • https://openreview.net/forum?id=tPEwSYPtAC
    • https://openreview.net/forum?id=kxebDHZ7b7
    • https://arxiv.org/pdf/2312.00209.pdf
• LLM / SAM - AutoTune
  • code
    • data generation (pretraining / downstreaming) は完了！
  • LM 実験準備
    • Tr(H) が downstraem で大事っぽいやつ
    • LLM に関して
      • 論文
      • notion
      • github issue
• 論文読み
  • https://arxiv.org/pdf/2402.18949.pdf
    • これは LinkedIn の研究で書き方として参考にできそう

Deadlines

5/2

• Ioannis Group での発表

5/10?

• MSR に向けて
  • Research Proposal 作る
  • google docs

5/20?

• DeepMind に向けて
  • µTransfer
  • 小さいスケールからハイパラ調整する
  • https://claude.ai/chat/61f691a1-3ee6-48a0-99ea-67b1bb7b7295
    • これは Google DeepMind の研究で参考になりそう

???

• Kartik に連絡
• 二反田先生からもらった資料読む

Reference

• TODO - 1/31
• Funding / その他応募締切 - 1/31
• 研究プロジェクト　Notion

Deadline

年間スケジュール

参考 URL: https://hiroki11x.github.io/posts/research_topics/ML_Conference/


- NeurIPS 5/15? https://nips.cc/Conferences/2024
  - SAM AutoTune -> Experiments and Writing (LM での実験)
  - Curvature Regularization (パーツはある)
  - Timm OOD (ほぼ終わってる)
- CIKM 5/15? https://www.cikm2024.org/
  - ?
- ICONIP 5/31 https://iconip2024.org/call-for-papers/
  - ?
- ICLR 9/15? https://iclr.cc/Conferences/2024
  - ?
- AISTATS 10/15? https://aistats.org/aistats2024/
  - ?
- MLSys 10/15? https://mlsys.org/Conferences/2024
  - ?
- CVPR 11/15? https://cvpr2024.thecvf.com/
  - ?