Hiroki Naganuma

Schedule

直近の Schedule

[今月](https://hiroki11x.github.io/posts/diary/2023_07/) ``` - 直近の締め切り/予定 - 9/24 ICLR x2 ( SAM-Focal / Calibration CTR) - 10/? AISTATS x3 (SAM x Auto-Tuning / TIC / RMHMC) - 11/? CVPR x2 (IRM Calibration / OOD Timm) - 1/? ICML x1 (F2 Metric? ) ```

Reference

• TODO - 05/22
• Funding 締切 - 08/09
• 研究プロジェクト

今日の目標

• LinkedIn の仕事で成果をまとめる

一日の流れ

• 朝からIoannis, Lyle と Meeting
  • motivate された
• VIA で　LinkedIn にきた
  • おかゆとベリー食べた
  • E Bar でカヌレ食べた
• Misc
  • 読み物
    • アウトドア系には｢爽やかな人｣が多く､インドア系には｢いつもイライラしている人｣が多い科学的な理由
  • ベイエリア生活関連 をまとめた
• B3 で 昼飯 / エビとか中華とかを食べた
  • その後 B1 で、ワッフルとか食べた
• B4 で Meeting
  • それなりにいい感じ
  • 結果を色々頑張らないとやばい
• 吉田くんと meeting
• PP 関連
  • Slack
• 東工大も　Mila もクラスタメンテナンスなのでしばらく実験できない
  • 東工大
    • 2023.8.9 9:00 から 8.17 夕方頃 全学停電のためサービス停止 停電日は8月12日(土),13日(日)
  • Mila
    • Please note that the IDT team will proceed to a stepped maintenance of the Mila cluster from Tuesday, August 15, 8:00 a.m. (EDT) to Friday, August 25, 12:00 p.m. (EDT). During this timeframe, some Mila’s GPU computing resources will be offline and unavailable for all users.
• LinkedIn の課題に取り組みつつ
• 木村さんと meeting

• 幡谷さんと少し Sync

• その他色々作業
  • ICCV WS に向けた原稿修正

• 23時過ぎに帰宅

• すべきこと整理
  • LNKD
    • Production 版での実装の修正
      • ECE
      • LN
    • Exp
      • Opt
      • LR Schedule
      • Loss
    • BCELN だけでは不十分そうな点を修正 SAM 入れるか？
• SAM-AutoTune
  • Vit　とかの実験
  • LR observer の ACC の結果が良くないのを解決

所感

TODO

• TODO 更新
  • https://github.com/Hiroki11x/posts/blob/main/_posts/2023-05-22-todo.md
• NeurIPS rebuttal
  • Docs に加筆 ref
• for AISTATS
  • CIFAR10_C とかの実験準備 ref
  • ImageNet-V2 x AutoTune うまくいかない
  • CIFAR10_C　モデル選択は　Val で行うので問題ないが、 test が問題あり
• for ICLR / CTR
  • SAM がなぜ聞いてないかを検証
  • Logitnorm がなんでうまくいくかを説明

読み物

• 大規模言語モデル(LLM)の作り方 Megatron-DeepSpeed編 Part2
• User-friendly introduction to PAC-Bayes bounds

• LLM Calibration and Automatic Hallucination Detection via Pareto Optimal Self-supervision

• 今後の進め方を考える
  • TIC

Icebox

• Optimal Transport / Kilian とシュッとやらなきゃ
  • F2 Metric (AISTATS 10月) / Kilian
• Calibration + OOD Generalization
  • OOD Timm (CVPR 10月) / 幡谷さん
  • SAM x FocalLoss (ICLR 10月) / 木村さん
  • SAM x Auto-Tuning (AISTATS 10月) / Lyle
  • LogitNorm (ICLR 9月) / LinkedIN
  • IRM (CVPR 11月) / 吉田くん
  • KFAC x Damping (???? 1月) / Single Author?
• Others / コンテキストスイッチが必要
  • TIC (AISTATS? 10月)
  • RHHMC (AISTATS? 10月)
• SWARL (ICRA)

Deadline

Spread Sheet

年間スケジュール

```
[LinkedIn, Sunnyvale, 6/18-9/10]
9月下旬 ICLR 締め切り x2 (LogitNorm, SAM-Focal)
[ICCV WS, Paris, 12/1-5?]
10月中旬 AISTATS 締め切り x3 (TIC, RMHMC, Auto Tune SAM)
[ACM MM, Ottawa, 10/29-11/3]
11月中旬 CVPR 締め切り
[NeurIPS, New Orleans, 12/1-5?]
1月下旬　ICML 締め切り (F2)
```