Schedule
直近の Schedule
[今月](https://hiroki11x.github.io/posts/diary/2023_12/)
```
- 直近の締め切り/予定
- 1/31 Arxiv (Curvature)
- 2/1 ICML x2 (Curvature / SAM x Auto-Tuning)
- 2/8 KDD x1 (Calibration CTR)
- 2/9 UAI x1 (IRM Calibration)
- 3/? TMLR x1 (TIC)
- 3/7 ECCV x1 (SecondOrder)
```
一日の流れ
- 寝るのは遅かったが、８時に起きた
- 亀田さんとコーヒー
- Mila にきた
- Group Meeting (Ryan, Ioannis, Zhichu, Adam, Charles と話した)
- In-person で参加したら、飯がタダになるっぽい
- Adam, Charles と NeurIPS とか、LLM 関連の Industry の話をした
- Industry の publication は彼らのワークのうち 20% しか表に出なくなってきている
- Charles はいい仕事いっぱいあるのに引用数が少ないことに悩んでるらしい
- そのために、LLM っぽいことについて、色々やろうとしてるっぽい
- ServiceNow の pretraining チームに、visiting で行こうとしてる？？
- Irina のproject に Adam から誘われた
- Ioannis モヤったらみたいな話をしてくれた
- Quentin Anthony / DK Panda のとこの PhD が、HPC 関連回してるっぽい、この人がいなくなりそう？？
- ただ、HPC のエンジニアをずっとさせられるのは厳しいなという気持ちになった
- Irina のチームの master の学生 (hpc っぽいことを frontier の project でやってたことにしてるっぽい) が Irina の推薦状で OpenAI に就職したっぽい（僕の方がずっとコーディングも研究もできると言われた）
- Charles と ICML 後に話すことになった
- Irina チームで何かできるといいかもな、せっかく Mila にいるので、
- Mila で作業
- Misc
- ZOZO 関連
- A*Star 関連
- PP 関連
- CV 更新 (Skill 関連)
- 実験関連
- SAM AutoTune
- Curvature
- 実験待ちのが結構ある（以下）
- DomainBed での実験準備
- その前に、Same Pre-Trained Loss の 論文を確認 (LLM 特有の話なのかを見るため)
- 画像については言及がない
- 画像についてやることも価値になる
- が、実験設定自体を整えないといけない
- TSUBAME で 24時間 job でやるにはちょうどいいかな？
- でも LLM 関連も触っておきたいしなという気持ちがある
- Same Pre-Trained Loss での実装確認
- Deep Speed 使われてるのでその実装関連予習
- 藤井くんの記事
- 家に帰った
- 長瀬くんと Meeting
- PP Meeting
- 色々作業
-
実験関連投げた @Narval
- 実験関連
- LossLandscape
- Curvature
- MNIST
- v0 使わないかな
- v1 存在しない
- v2 使う、Rio で 48 時間後には終了
- v3, v4 失敗 -> v5 を Narval / Beluga で実行
- CIFAR
タスク整理
- TSUBAME の使い方考える
- 24時間で終わるタスク
- 今投げなきゃいけない実験を考える
- SAM AutoTune?
- Curvature Regularization
TODO
-
Code Interview 練習しないと
- SAM AutoTune / RLOpt
-
Ioannis に先日の話をまとめてメールする
-
Research Project
- SAM AutoTune
- Curvature の実験を Rio Cluster とかでさっと投げる
IceBox
Reference
Deadline
年間スケジュール
```
- IJCNN 1/15 or UAI 2/9
- IRM Variant
- FAccT 1/15
- ICML 2/1
- Curvature
- SAM Autotune
- KDD 2/8
- Logit Control
```