Hiroki Naganuma

Schedule

直近の Schedule

[今月](https://hiroki11x.github.io/posts/diary/2023_07/) ``` - 直近の締め切り/予定 - 9/24 ICLR x1 ( SAM-Focal) - 10/? AISTATS x3 (SAM x Auto-Tuning / TIC / RMHMC) - 11/? CVPR x2 (IRM Calibration / OOD Timm) - 1/? ICML x1 (F2 Metric? ) - 2/? KDD x1 (Calibration CTR) ```

Reference

• TODO - 08/14
• Funding 締切 - 08/09
• 研究プロジェクト

今日の目標

• Ioannis との Meeting
• NeurIPS の ICLR formatting (24H 以内)
• UNCV のポスター　(RIKEN) 終わらせる
• 松尾研受講

一日の流れ

• 朝から　Mila にきた
  • Meta の AI Mentorship の説明会に来た ref
    • 概要
      • 週20時間の雇用 / 12ヶ月-24ヶ月
      • 学費と給料が　Meta から出る
      • その間は他のところでの雇用は不可
    • Selection Process
      • Jan 2024 cohort
        • 9/26 Application Deadline
        • 10/23 ROund1 Interview / previous research experience
        • 10/30 ROund2 Interview / AI coding and collaboration
        • 1/22 Program Start
      • Sep 2024 cohort
        • 11/23 - 1/24 に apply
      • 研究紹介
        • Reyhane とかのチームの人、画像の生成　AI の性能を上げる系 / ProPlaceでやりたいことに近い
        • Moravec’s paradox をどうにかする　(Robot / 強化学習系)
        • Diane Bouchacourt / SSL 使って汎化をどうにかする / Vision Language Model とかも使う
          • 参考文献 Does Progress On Object Recognition Benchmarks Improve Real-World Generalization?
          • Fairness とかも関連してそう
          • 一番関連がありそう
        • Pascal Vincent
          • そもそも、UdeM Mila の教授では
          • OOD とか representation learning がメインのゴール
          • encourage structured representation
          • disentangled + hierarcical
          • 共著者 Vitória Barin Pacela
            • すごい　ML で業績があるわけではないっぽいけど、物理ですごい人
            • Kartik と共著出してる
            • Simon がメインの指導教官で Meta の指導教官が Pascal みたいな感じっぽいな
          • この人が一番自分の研究には近いな
        • Adriana Romero Soriano
          • Embedding 系をやってる？？
          • LLaMA とかもやってそう？！？
        • そのほか（詳細聞きそびれた）
          • Mahmoud Assran
          • Michael Rabbat / 偉い人
    • 感想
      • 強そうなひとがめちゃめちゃいるな、数百人の Mila の PhD の中から数人に残るのはかなりむずそうだけど、そうならないと成長しない
• Misc
  • JASSO の色々
  • Charles とのワークの ICLR フォーマットへの移行
  • Ange-Clement の計算環境セットアップ関連
  • IKEA 関連
• Ioannis Group でのランチ
  • Zichu、Reyhane、Ryan、Alexia とメインで話せた
• 作業
  • UNCV のポスター、理研のもできた
  • なんか色々やった
• Ioannis との Meeting
  • 11月の帰国の話をした
• 一旦帰宅
  • 友人カップルとご飯
  • pizza のレストランが良かった
• 帰宅
  • PP Meeting
    • Civil Comments から Amazon Dataset に移るか？！
  • そのほか色々共有
  • なんか作業した気がするけど忘れた

所感

TODO

• SAM を TMLR の設定で実験しておくのを投げる？

• 査読

• wandb 関連の結果整理
  • U Rice
    • todo link slack
    • Optimizer Comparison on ViT vs ResNet
    • wandb
• SAM - Focal / @Mila /
  • ViT vs SAM
  • 実験は終わってるので、あとは　plot
    • 色を変えた Scatter Plot を作る (UNCV の Fig3)
• CTR
  • Criteo 関連の plot を作る
  • BAR-CTR
    • temp scaling した後の ECE も併せて計算したほうがいいかな？
• SAM AutoTune / AISTATS
  • plot
    • ちなみに現状はこれ ref
    • あとは plot
  • 実験まとめ
    • ViT のまとめ ref
  • IN1Kv2
• SAM Focal / ICLR
  • BS plot
  • 論文読み　Sharpness Minimization Algorithms Do Not Only Minimize Sharpness To Achieve Better Generalization
• その他の研究
  • SAM Focal
    • CameraReady
    • Poster
  • Timm OOD
    • Poster
• Paper
  • Understanding the robustness difference between stochastic gradient descent and adaptive gradient methods
• for AISTATS
  • CIFAR10_C とかの実験準備 ref
  • ImageNet-V2 x AutoTune うまくいかない
  • CIFAR10_C　モデル選択は　Val で行うので問題ないが、 test が問題あり
• for ICLR / CTR
  • SAM がなぜ聞いてないかを検証
  • Logitnorm がなんでうまくいくかを説明 -> Weight Sampling な気がするな
• for ICLR / SAM Focal
  • tasks

Icebox

• Calibration + OOD Generalization

  • SAM x FocalLoss (ICLR 9月) / 木村さん
  • SAM x Auto-Tuning (AISTATS 10月) / Lyle
  • OOD Timm (CVPR 11月) / 幡谷さん
  • IRM (CVPR 11月) / 吉田くん
  • KFAC x Damping (???? 1月) / Single Author?
  • LogitNorm (KDD 2月) / LinkedIN
• Others / コンテキストスイッチが必要
  • TIC (AISTATS? 10月)
  • RHHMC (AISTATS? 10月)
  • SWARL (ICRA 9月)
• Optimal Transport / Kilian とシュッとやらなきゃ
  • F2 Metric (ICML 1月) / Kilian

Deadline

Spread Sheet

年間スケジュール

```
[LinkedIn, Sunnyvale, 6/18-9/10]
9月下旬 ICLR 締め切り x1 (SAM-Focal)
[ICCV WS, Paris, 12/1-5?]
10月中旬 AISTATS 締め切り x3 (TIC, RMHMC, Auto Tune SAM)
[ACM MM, Ottawa, 10/29-11/3]
11月中旬 CVPR 締め切り
[NeurIPS, New Orleans, 12/1-5?]
1月下旬　ICML 締め切り (F2)
2月上旬  KDD 締め切り (LogitNorm)
```