Hiroki Naganuma

Schedule

直近の Schedule

[今月](https://hiroki11x.github.io/posts/diary/2023_07/) ``` - 直近の締め切り/予定 - 9/24 ICLR x2 ( SAM-Focal / Calibration CTR) - 10/? AISTATS x3 (SAM x Auto-Tuning / TIC / RMHMC) - 11/? CVPR x2 (IRM Calibration / OOD Timm) - 1/? ICML x1 (F2 Metric? ) ```

Reference

• TODO - 05/22
• Funding 締切 - 05/30
• 研究プロジェクト

今日の目標

• LinkedIn の仕事で成果をまとめる

一日の流れ

• 深夜もずっと作業

• CTR task について
  • Model は Logit じゃなく　Pred を出す
    • https://github.com/shenweichen/DeepCTR-Torch/blob/f6854257b1fc29caab655ce72c6b5528b7432574/deepctr_torch/models/basemodel.py#L349
    • https://github.com/shenweichen/DeepCTR-Torch/blob/f6854257b1fc29caab655ce72c6b5528b7432574/deepctr_torch/models/deepfm.py#L84
    • Logit 使いたいなら修正が必要
      • jupyter の sample ではテストした
  • Loss は BCE を使ってる
    • https://github.com/shenweichen/DeepCTR-Torch/blob/f6854257b1fc29caab655ce72c6b5528b7432574/deepctr_torch/models/basemodel.py#L474
• LogitNorm について
  • model は logit を返す
    • https://github.com/hongxin001/logitnorm_ood/blob/0a60eeffb7dfc970fe68e07c5649ea1c9c8244c6/algorithms/standard.py#L8C27-L8C33
    • https://github.com/hongxin001/logitnorm_ood/blob/0a60eeffb7dfc970fe68e07c5649ea1c9c8244c6/models/wrn.py#L119
    • pred は max 使って出されてる
      • https://github.com/hongxin001/logitnorm_ood/blob/0a60eeffb7dfc970fe68e07c5649ea1c9c8244c6/algorithms/base_framework.py#L68C17-L68C21
• 4時前に寝て10時前に起きた
• 昼から　MTV の駅近くに行った
• 友人宅に遊びに行った
  • 非常にいい時間を過ごした
  • ベイエリアでのいい生活のイメージが非常にわいた
• 帰ってからテニスした
• 色々作業
• 買い物
  • ROA のスニーカー
  • 買い物リスト更新
• TODO
  • Timm OOD 論文修正
  • NeurIPS rebuttal
    • Charles にコメント
    • 追加実験可能か？
    • Docs に加筆
  • CTR
    • LR を学習中に計測
      • 実装深掘り ref
    • v11 ref

所感

TODO

• やらなきゃいけない
  • for AISTATS
    • CIFAR10_C とかの実験準備 ref
    • ImageNet-V2 x AutoTune うまくいかない
    • CIFAR10_C　モデル選択は　Val で行うので問題ないが、 test が問題あり
  • for ICLR / CTR
    • SAM がなぜ聞いてないかを検証
    • Logitnorm がなんでうまくいくかを説明

読み物

• 大規模言語モデル(LLM)の作り方 Megatron-DeepSpeed編 Part2

• 今後の進め方を考える

  • TIC

Icebox

• Optimal Transport / Kilian とシュッとやらなきゃ
  • F2 Metric (AISTATS 10月) / Kilian
• Calibration + OOD Generalization
  • OOD Timm (UNCV 7月 / CVP 10月) / 幡谷さん
  • SAM x FocalLoss (UNCV 7月 / ICLR 10月) / 木村さん
  • SAM x Auto-Tuning (AISTATS 10月) / Lyle
  • LogitNorm (ICLR 9月) / LinkedIN
  • IRM (CVPR 11月) / 吉田くん
  • KFAC x Damping (???? 1月) / Single Author?
• Others / コンテキストスイッチが必要
  • TIC (AISTATS? 10月)
  • RHHMC (AISTATS? 10月)
• SWARL (ICRA)

Deadline

Spread Sheet

年間スケジュール

```
[LinkedIn, Sunnyvale, 6/18-9/10]
9月下旬 ICLR 締め切り x2 (LogitNorm, SAM-Focal)
[ICCV, Paris, 12/1-5?]
10月中旬 AISTATS 締め切り x3 (TIC, RMHMC, Auto Tune SAM)
[ACM MM, Ottawa, 10/29-11/3]
11月中旬 CVPR 締め切り
[NeurIPS, New Orleans, 12/1-5?]
1月下旬　ICML 締め切り (F2)
```