Hiroki Naganuma

Schedule

直近の Schedule

[今月](https://hiroki11x.github.io/posts/diary/2023_07/) ``` - 直近の締め切り/予定 - 9/24 ICLR x2 ( SAM-Focal / Calibration CTR) - 10/? AISTATS x3 (SAM x Auto-Tuning / TIC / RMHMC) - 11/? CVPR x2 (IRM Calibration / OOD Timm) - 1/? ICML x1 (F2 Metric? ) ```

Reference

• TODO - 08/14
• Funding 締切 - 08/09
• 研究プロジェクト

今日の目標

• LinkedIn の仕事で成果をまとめる

一日の流れ

• 朝はゆっくり起きた

• 昼前から Sausalito に行った
  • Scoma’s of Sausalito
• その後、Napa に行った

• この夏いちばん楽しかったな

• 帰ってきてから作業
  • SAM - Focal / @Mila /
    • BS 実験
      • Vit @Narval
        • iclr2023cifar_sam_sqrt{BS}_vit
  • Deep CTR
    • https://wandb.ai/meiji_mlopt/W10_OOD_CELNLoss1_criteo_full_1_22_DeepFM_BN
• 読み物
  • 米国で東アジア系がインド人より出世できない理由
• TODO Soon

  • BAR CTR 実験投げる

  • SAM - Focal / @Mila /

    • ViT vs SAM
    • 実験は終わってるので、あとは　plot
      • 色を変えた Scatter Plot を作る (UNCV の Fig3)

所感

TODO

• CTR
  • Criteo 関連の plot を作る
    • ERM よりも　CELN / CEPN
    • なぜ CEPN がいいか？
      • Logit 抑えられてる？
      • Focal っぽい挙動を示す
        • それはなんで？
  • SAM AutoTune / AISTATS
    • plot
    • wandb だけ 共有
    • ViT
      • Adam AdamW Experiments
        • Search
          • Adam on Beluga -> Name Change on wandb
          • AdamW on Beluga
        • Seed
      • ResNet も上記を同様にする -> Search は Beluga で全部投げた
        • ちなみに現状はこれ ref
    • 実験まとめ
      • ViT のまとめ ref
    • IN1Kv2
  • SAM Focal / ICLR
    • BS 実験
      • 投げきった
      • BS plot
    • 論文読み　Sharpness Minimization Algorithms Do Not Only Minimize Sharpness To Achieve Better Generalization
  • その他の研究
    • SAM Focal
      • CameraReady
      • Poster
    • Timm OOD
      • Poster
      • ABCI GC 申請書
• Paper
  • Understanding the robustness difference between stochastic gradient descent and adaptive gradient methods
• for AISTATS
  • CIFAR10_C とかの実験準備 ref
  • ImageNet-V2 x AutoTune うまくいかない
  • CIFAR10_C　モデル選択は　Val で行うので問題ないが、 test が問題あり
• for ICLR / CTR
  • SAM がなぜ聞いてないかを検証
  • Logitnorm がなんでうまくいくかを説明 -> Weight Sampling な気がするな
• for ICLR / SAM Focal
  • tasks

Icebox

• Calibration + OOD Generalization
  • OOD Timm (CVPR 10月) / 幡谷さん
  • SAM x FocalLoss (ICLR 10月) / 木村さん
  • SAM x Auto-Tuning (AISTATS 10月) / Lyle
  • LogitNorm (ICLR 9月) / LinkedIN
  • IRM (CVPR 11月) / 吉田くん
  • KFAC x Damping (???? 1月) / Single Author?
• Others / コンテキストスイッチが必要
  • TIC (AISTATS? 10月)
  • RHHMC (AISTATS? 10月)
  • SWARL (ICRA 9月)
• Optimal Transport / Kilian とシュッとやらなきゃ
  • F2 Metric (ICML 1月) / Kilian

Deadline

Spread Sheet

年間スケジュール

```
[LinkedIn, Sunnyvale, 6/18-9/10]
9月下旬 ICLR 締め切り x2 (LogitNorm, SAM-Focal)
[ICCV WS, Paris, 12/1-5?]
10月中旬 AISTATS 締め切り x3 (TIC, RMHMC, Auto Tune SAM)
[ACM MM, Ottawa, 10/29-11/3]
11月中旬 CVPR 締め切り
[NeurIPS, New Orleans, 12/1-5?]
1月下旬　ICML 締め切り (F2)
```