Hiroki Naganuma

Schedule

直近の Schedule

[今月](https://hiroki11x.github.io/posts/diary/2023_12/) ``` - 直近の締め切り/予定 - 1/31 CVPR Rebuttal x1 (Model Selection) - 2/1 ICML x1 (SAM x Auto-Tuning) - 2/5 ICLR WS x2 (IRM Calibration / LossLandscape) - 2/8 KDD x1 (Calibration CTR) - 2/15 CoLLAs x1 (IRM Calibration) - 2/28 Arxiv (Curvature) - 3/? TMLR x1 (TIC) - 3/7 ECCV x1 (SecondOrder) ```

予定

• 午前中でCVPR Rebuttal 終わらせて
• 午後は、実験を回す
• 時間あれば、ICLR WS をやる

一日の流れ

• 昨日は2時前に寝て、6時前に起きた

• Edge of Stability
  • 論文
  • 汎化とは関係なさそう
• CVPR やんなきゃやばい
  • workspace
  • rebuttal

• タマプラで焼肉食べた

• コワーキングで CVPR 続き
  • 幡谷さんに色々共有
  • How we write rebuttals
  • Rebuttal 書いて提出した
• 散歩して図書館の方行った

• 寿司食べてシャワー浴びてリフレッシュ

• Misc
  • クリニック予約　(2/1)
  • AirCanada 保証関連
  • 矯正関連 / カレンダーに入れた
  • スケジュールまとめ
    • 2月
    • 2024年全般

  • 筋トレ関連まとめ

  • W&B Meetup #9「大規模言語モデル開発を支える分散学習技術」by 東京工業大学　横田理央先生　を見た

  • PP クレジット関連

  • Cyberdyne
    • 既存のML Model を Neural Network に変更

所感

• とにかく論文を出しまくる

Taskこなすスケジュール

• 1/30 (Tue)
  • CVPR の rebuttal 関連
    • related works を修正
    • CLIP とか、でかいモデルの実験できるか？
  • 最近思考停止してる件について、頭を使う作業をする
    • SAM AutoTune
    • Curvature Regularization
  • https://github.com/Liuhong99/implicitbiasmlmcode
  • 上記の実装を使えるようにする

TODO

• 読み物
  • モデルパラメータの算術
• 病院関連
  • 医療関連まとめ 更新

• CVPR の rebuttal

• SAM AutoTune に関して
  • LLM に関して
    • 論文
    • code
• ImageNet の Scratch 学習をどこかでやる必要がある

• Research Project

  • SAM AutoTune
    • notion
  • Curvature の実験を　Rio Cluster とかでさっと投げる
    • notion
    • 骨子整理 -> Overleaf で整理
    • すること整理　notion

IceBox

• 【ソニー社内講演】拡散モデルと基盤モデル
• Transformerとは何か？ 「ChatGPT」や「Gemini」を生み出した超重要技術の進化
• [KDD2023論文読み会] BERT4CTR: An Efficient Framework to Combine Pre-trained Language Model with …
• Python(PyTorch)で自作して理解するTransformer
• 時系列解析（３）/ TIC

• [] 【データ活用シンポ2023】「1細胞シーケンシングデータへのAIの応用」田中 義章（モントリオール大学 医学部・Assistant Professor ）

• ICML / Curvature (w/ Lyle, Ioannis)
  • 相関をさっさと計算する

Reference

• TODO - 11/22
• Funding / その他応募締切 - 09/18
• 研究プロジェクト　Notion

Deadline

年間スケジュール

```
- IJCNN 1/31 or UAI 2/9
    - IRM Variant
- ICML 2/1
    - Curvature
    - SAM Autotune
- KDD 2/8
    - Logit Control
```