Hiroki Naganuma

Schedule

直近の Schedule

[今月](https://hiroki11x.github.io/posts/diary/2023_07/) ``` - 直近の締め切り/予定 - 9/24 ICLR x2 ( SAM-Focal / Calibration CTR) - 10/? AISTATS x3 (SAM x Auto-Tuning / TIC / RMHMC) - 11/? CVPR x2 (IRM Calibration / OOD Timm) - 1/? ICML x1 (F2 Metric? ) ```

Reference

今日の目標

Auto-Tune Deep CTR を作る

一日の流れ

6時半には起きた
朝から LinkedIn
- 9 時過ぎまでスイッチが入らずだらだら作業してた
- Travel Grant 一件通って良かった
B1 にいどう
- Misc
  - アカデミー会関連
    - イベントページ公開して招待送った
  - PP 関連
  - メール返事したり
  - Cyberdyne メール
  - ICCV 関連 / スケジューリング関連
  - 査読関連
B3 で Charles とランチ
- Jimmy Ba の同期だった
- 研究の話もちょっとした
- 他のインターンもレベル高い人がいるのが知れて良かった
B1 で作業
- Auto Tuned LR をやった
- 割とすぐにイベントで、バークレーに
クルージング
- 話せたかった人たちと話せた
- 結構強い人がいるなと思った
- PhD は PhD で固まってた / 性格が近いからか
- 帰りのバスはなんだかエモい気持ちになった
B1 で作業
- Auto Tuned LR の実装を終えた
- Debug でうまく行ったので
- Criteo Medium で training を投げた

所感

TODO

やらなきゃいけない
- 読む
  - https://arxiv.org/abs/2305.13849
- for AISTATS
  - CIFAR10_C とかの実験準備 ref
  - ImageNet-V2 x AutoTune うまくいかない
  - CIFAR10_C　モデル選択は　Val で行うので問題ないが、 test が問題あり
- for ICLR / CTR
  - Mila - Rio Cluster に投げる実験準備
  - SAM がなぜ聞いてないかを検証
  - Logitnorm がなんでうまくいくかを説明

読み物

CLIPの概要とAttentionとの関りについて解説
大規模言語モデル(LLM)の作り方 Megatron-DeepSpeed編 Part2
LinkedIn
- CTR
- Tech Lounge 系のタスク
ICLR
- Focal SAM
  - 新しい結果反映 (ImageNet-V2 SAM)
    - ref
今後の進め方を考える
- TIC

Icebox

Optimal Transport / Kilian とシュッとやらなきゃ
- F2 Metric (AISTATS 10月) / Kilian
Calibration + OOD Generalization
- OOD Timm (UNCV 7月 / CVP 10月) / 幡谷さん
- SAM x FocalLoss (UNCV 7月 / ICLR 10月) / 木村さん
- SAM x Auto-Tuning (AISTATS 10月) / Lyle
- LogitNorm (ICLR 9月) / LinkedIN
- IRM (CVPR 11月) / 吉田くん
- KFAC x Damping (???? 1月) / Single Author?
Others / コンテキストスイッチが必要
- TIC (AISTATS? 10月)
- RHHMC (AISTATS? 10月)
SWARL (ICRA)

Deadline

Spread Sheet

年間スケジュール



```
[LinkedIn, Sunnyvale, 6/18-9/10]
7月中旬 UNCV (ICCV Workshop) 締め切り x2 (SAM Calibration / OOD Timm)
9月下旬 ICLR 締め切り x2 (LogitNorm, SAM-Focal)
[ICCV, Paris, 12/1-5?]
10月中旬 AISTATS 締め切り x3 (TIC, RMHMC, Auto Tune SAM)
11月中旬 CVPR 締め切り
[NeurIPS, New Orleans, 12/1-5?]
1月下旬　ICML 締め切り (F2)
```