Hiroki Naganuma

Schedule

直近の Schedule

[今月](https://hiroki11x.github.io/posts/diary/2023_07/) ``` - 直近の締め切り/予定 - 9/24 ICLR x2 ( SAM-Focal / Calibration CTR) - 10/? AISTATS x3 (SAM x Auto-Tuning / TIC / RMHMC) - 11/? CVPR x2 (IRM Calibration / OOD Timm) - 1/? ICML x1 (F2 Metric? ) ```

Reference

今日の目標

LinkedIn の仕事で成果をまとめる

一日の流れ

起きるの遅かった
家でドリア食べた
Misc
- Airbnb の残りを払った
Stanford の方に来た
- BlueBottle で作業
  - ZOZO 連絡
  - CTR 実験
    - AT が上手く行ってない
    - AT は安定して LR = 10 くらいがいいと示してる ref / Loss は 0.1 くらい
    - AT なしでは、LR が 0.1 でキャップされてる感じがある ref
    - Loss は変わらないのに、 AUC に大きな変化がある ref
    - Lyle に聞いてみた
    - 前半 Auto Tune して、後半で coeeficient つけて Decay するようにしないとダメ何かも？！
  - CELogitNorm 実験
    - Toy Example
    - Imbalanced Dataset 作った
  - Stanford Shopping Center で少し買い物
帰ってきた
- テニスした
- LinkedIn
  - docs整理
  - CELogit 関連の実験
- Misc
  - Wired 1時間のジョギングで寿命が7時間延びる、という研究結果
TODO
- Timm OOD 論文修正
- NeurIPS rebuttal
  - Charles にコメント
  - 追加実験可能か？
  - Docs に加筆
- CTR
  - LR を学習中に計測
    - 実装深掘り ref
  - v11 ref

所感

TODO

やらなきゃいけない
- for AISTATS
  - CIFAR10_C とかの実験準備 ref
  - ImageNet-V2 x AutoTune うまくいかない
  - CIFAR10_C　モデル選択は　Val で行うので問題ないが、 test が問題あり
- for ICLR / CTR
  - SAM がなぜ聞いてないかを検証
  - Logitnorm がなんでうまくいくかを説明

読み物

大規模言語モデル(LLM)の作り方 Megatron-DeepSpeed編 Part2
今後の進め方を考える
- TIC

Icebox

Optimal Transport / Kilian とシュッとやらなきゃ
- F2 Metric (AISTATS 10月) / Kilian
Calibration + OOD Generalization
- OOD Timm (UNCV 7月 / CVP 10月) / 幡谷さん
- SAM x FocalLoss (UNCV 7月 / ICLR 10月) / 木村さん
- SAM x Auto-Tuning (AISTATS 10月) / Lyle
- LogitNorm (ICLR 9月) / LinkedIN
- IRM (CVPR 11月) / 吉田くん
- KFAC x Damping (???? 1月) / Single Author?
Others / コンテキストスイッチが必要
- TIC (AISTATS? 10月)
- RHHMC (AISTATS? 10月)
SWARL (ICRA)

Deadline

Spread Sheet

年間スケジュール



```
[LinkedIn, Sunnyvale, 6/18-9/10]
9月下旬 ICLR 締め切り x2 (LogitNorm, SAM-Focal)
[ICCV, Paris, 12/1-5?]
10月中旬 AISTATS 締め切り x3 (TIC, RMHMC, Auto Tune SAM)
[ACM MM, Ottawa, 10/29-11/3]
11月中旬 CVPR 締め切り
[NeurIPS, New Orleans, 12/1-5?]
1月下旬　ICML 締め切り (F2)
```