Hiroki Naganuma

Schedule

直近の Schedule

[今月](https://hiroki11x.github.io/posts/diary/2023_07/) ``` - 直近の締め切り/予定 - 9/24 ICLR x1 ( SAM-Focal) - 10/? AISTATS x3 (SAM x Auto-Tuning / TIC / RMHMC) - 11/? CVPR x2 (IRM Calibration / OOD Timm) - 1/? ICML x1 (F2 Metric? ) - 2/? KDD x1 (Calibration CTR) ```

Reference

• TODO - 08/14
• Funding 締切 - 08/09
• 研究プロジェクト

今日の目標

• 松尾研受講
• AISTATS の原稿を Ioannis に共有できるように
  • Main Message をまとめる
  • [ ]
• SAM AutoTune のコード修正

一日の流れ

• 朝は家でスムージー
• Cafe Crew にきた
  • 土日は注文からサーブまで20分とかかかるのでダメだ
  • Misc
    • アカデミー会メール
    • その他色々返事
    • AirCanada 対応
  • Plan
    • Paper
      • 1st Author
        • ICLR NoWrongTurns w/ Charles, Kilian, Ioannis
        • LREC-COLING SubPopulation w/ Naraki, Yamaki, Ikeda
        • AISTATS Curvature w/ Kimura, Ioannis
        • CVPR Timm OOD w/ Hataya, Ioannis
        • KDD SignNorm w/ Mingzhou, Chengming, Ioannis
      • 2nd? Author
        • CoLR OOD WS MDSWA w/ Takahashi
        • NeurIPS DistShift WS IRM Exact w/ Yoshida
        • IBIS ? w/ Tada
      • Others
        • Fellowship
          • Google Fellowship
          • Borealis AI Fellowships
        • Position
          • Google Student Researcher
          • Meta AI Mentor Program
          • Apple ML Intern / 2024 Summer
          • A*STAR (二反田先生) / 家賃が Montreal の 2.75 倍する。
  • 作業
    • SAM Auto Tune
      • https://github.com/tanimutomo/cifar10-c-eval
        • arch をかえる
        • https://github.com/Hiroki11x/SAM_Calibration/blob/main/src/model/init.py
        • resnet18_cifar の学習
        • トラブったけど、rio cluster の cuda 環境使うのを更新したら解決
      • second option
        • https://pypi.org/project/pytorch-ood/
• 昼
  • バケット買って帰った
  • 友人夫婦とランチ
• 夕方
  • 少し買い物に行った
  • 仮眠
  • プール　+ サウナ
  • 晩飯
• よる
  • Misc
    • 1月以降のポジション応募
      • ServiceNow Research
        • Alexandre Drouin
          • Benchmarking Bayesian Causal Discovery Methods for Downstream Treatment Effect Estimation
          • Regions of Reliability in the Evaluation of Multivariate Probabilistic Forecasts
          • In search of robust measures of generalization
      • 二反田先生に連絡
        • 物価的に短期滞在かな
      • Amazon Science
        • Amazon US Research Intern 2024
        • Amazon Canada Research Intern 2024
      • MS
        • MSR は応募終わってる
        • Data Scientist Intern 経験者に色々聞かせてもらえた
          • 研究フォーカスではないっぽい
  • SAM Auto-Tune
    • https://github.com/tanimutomo/cifar10-c-eval での評価が上手くいった
    • 明日続きやる

所感

TODO

• SAM を TMLR の設定で実験しておくのを投げる？

• 査読

• wandb 関連の結果整理
  • U Rice
    • todo link slack
    • Optimizer Comparison on ViT vs ResNet
    • wandb
• SAM - Focal / @Mila /
  • ViT vs SAM
  • 実験は終わってるので、あとは　plot
    • 色を変えた Scatter Plot を作る (UNCV の Fig3)
• CTR
  • Criteo 関連の plot を作る
  • BAR-CTR
    • temp scaling した後の ECE も併せて計算したほうがいいかな？
• SAM AutoTune / AISTATS
  • plot
    • ちなみに現状はこれ ref
    • あとは plot
  • 実験まとめ
    • ViT のまとめ ref
  • IN1Kv2
• SAM Focal / ICLR
  • BS plot
  • 論文読み　Sharpness Minimization Algorithms Do Not Only Minimize Sharpness To Achieve Better Generalization
• Paper
  • Understanding the robustness difference between stochastic gradient descent and adaptive gradient methods
• for AISTATS
  • CIFAR10_C とかの実験準備 ref
  • ImageNet-V2 x AutoTune うまくいかない
  • CIFAR10_C　モデル選択は　Val で行うので問題ないが、 test が問題あり
• for ICLR / CTR
  • SAM がなぜ聞いてないかを検証
  • Logitnorm がなんでうまくいくかを説明 -> Weight Sampling な気がするな
• for ICLR / SAM Focal
  • tasks

Icebox

• Calibration + OOD Generalization

  • SAM x FocalLoss (AISTATS 10月) / 木村さん
  • SAM x Auto-Tuning (AISTATS 10月) / Lyle
  • OOD Timm (CVPR 11月) / 幡谷さん
  • IRM (NeurIPS WS 10月) / 吉田くん
  • KFAC x Damping (???? 1月) / Single Author?
  • LogitNorm (KDD 2月) / LinkedIn
• Others / コンテキストスイッチが必要
  • TIC (AISTATS? 10月)
  • RHHMC (AISTATS? 10月)
  • SWARL (ICRA 9月)
• Optimal Transport / Kilian とシュッとやらなきゃ
  • F2 Metric (ICML 1月) / Kilian

Deadline

Spread Sheet

年間スケジュール

```
[LinkedIn, Sunnyvale, 6/18-9/10]
9月下旬 ICLR 締め切り x1 (SAM-Focal)
[ICCV WS, Paris, 12/1-5?]
10月中旬 AISTATS 締め切り x3 (TIC, RMHMC, Auto Tune SAM)
[ACM MM, Ottawa, 10/29-11/3]
11月中旬 CVPR 締め切り
[NeurIPS, New Orleans, 12/1-5?]
1月下旬　ICML 締め切り (F2)
2月上旬  KDD 締め切り (LogitNorm)
```