Hiroki Naganuma

Schedule

直近の Schedule

[今月](https://hiroki11x.github.io/posts/diary/2023_12/) ``` - 直近の締め切り/予定 - 1/31 Arxiv (Curvature) - 1/31 IJCNN x1 (IRM Calibration) - 2/1 ICML x2 (Curvature / SAM x Auto-Tuning) - 2/8 KDD x1 (Calibration CTR) - 3/? TMLR x1 (TIC) - 3/7 ECCV x1 (SecondOrder) ```

一日の流れ

• Charles に返事と、Losslandscape の実験結果共有
• Ioannis Group Meeting
  • Context is Environment
  • domain invariant representation learning
  • domain invariant representation
    • domain adversarial training (Gamin et al, 2016)
      • domain 情報を推測できないような方向で特徴量抽出をするように矯正
      • domain と label に相関があると tradeoff になるので困る (Akuzawa et al 2019 / 松尾研究室)
    • class conditional domain invariant representation

      • φ(x) ⊥ d

        y

    • invariant learning
      • IRM: learn predictor that is simultaneously optimal across environments
      • causal matching
      • many variants but, none of them beat well-tuned ERM
    • then
      • using domain-specific features for ood generalization
      • “context is environment” paper = in-context risk minimization (ICRM)
        • transformer で　test set の x_1 … x_{i-1} は x_i のcontext として与えられると考えられる
        • ERM との　equivalence もしめされてる
      • context が大きかった時の話
        • Environment Prior Minimizer

        • H(Y

          X, Ct) -> t→∞ -> H(Y

          X, E)

        • H[Y

          X] > H[Y

          X, E] の時、左辺の　ERM よりも 右辺のEnvironment Risk Minimization の方が良い

      • ICRM under the lens of invariance
      • Experiments
        • FEMNIST (Federated MNIST)
• MileEnd にラーメン食べに行った
  • ドーナツ買って帰ってきた
  • 帰ってきて少し寝てた
• 作業
  • ABCI GC
  • Misc
    • 1on1
  • 研究
    • 実験のマネジメント
    • width search
• 齋藤さんに相談
  • 税金周りの話をクリアに
• 古い laptop のいろんな設定関連
• PP
  • 助成金関連
• TODO
  • STAR Method で 面接準備
  • 設定
    • aicommits
  • 読み物
    • モデルパラメータの算術
  • 病院関連
    • 医療関連まとめ 更新

TODO

• TODO
  • Curvature のplot
    • 上記を Sync した後
  • SAM AutoTune に関して
    • LLM に関して
      • 論文
      • code

• TSUBAME の使い方考える

• ImageNet の Scratch 学習をどこかでやる必要がある

• Code Interview 練習しないと

• Ioannis に先日の話をまとめてメールする

• Research Project

  • SAM AutoTune
    • notion
  • Curvature の実験を　Rio Cluster とかでさっと投げる
    • notion
    • 骨子整理 -> Overleaf で整理
    • すること整理　notion

IceBox

• 【ソニー社内講演】拡散モデルと基盤モデル

• ICML / Curvature (w/ Lyle, Ioannis)

  • 相関をさっさと計算する

Reference

• TODO - 11/22
• Funding / その他応募締切 - 09/18
• 研究プロジェクト　Notion

Deadline

年間スケジュール

```
- IJCNN 1/15 or UAI 2/9
    - IRM Variant
- FAccT 1/15
- ICML 2/1
    - Curvature
    - SAM Autotune
- KDD 2/8
    - Logit Control
```