Hiroki Naganuma

Schedule

直近の Schedule

[今月](https://hiroki11x.github.io/posts/diary/2024_08/) - 直近の締め切り/予定 - 8/16 MSR Code 共有 - 8/17 シアトル日本人研究者の会発表 / UW ランチ - 8/19 MSR Final Lunch - 8/23 Russell との 最後の Sync - 8/24 JSPS サンフランシスコの発表 (ICML と同じ発表をする) - 8/? Arxiv (Curvature) - 9/6 BRAVE GLOBAL 〆切 - 9/9 WACV2025 (Damping) - 10/2 ICLR2025 (SAM AutoTune)

予定

• MSR 進める
• 小石田さんとランチ
• 臼山さんと coffee chat

一日の流れ

• 朝からMSRに来た

• アイスチャイとピーカンナッツパイを食べた

• MSR で作業
  • Misc
    • NeurIPS
      • discussion 一つ返した
      • もう一つは、MSR 終わってから返す
  • MSR
    • Weekly Report を出した
    • T4x4
    • Github の Issue を整理
    • Singularity に 005 を投げた
• MS 小石田さんとランチ
  • ICLR, NeurIPS, ICML にコンスタントに出されててすごい
  • MSR じゃなくても、研究を進められる機会はいっぱいありそうだと思った
  • お礼の連絡した
• 作業
  • t4x4 (解決)
    • wandb
    • eta search w/ intended impl
      • debug mode で挙動が異なるのは確認してたので、 benchmark mode で実行中
      • debug mode での極端な挙動の変化は、極端な eta 選択のため（256, 1024 など）
      • 同じような eta のレンジでは debug mode でもそうじゃなくても、少し学習の様相が変わるところは変化しない
  • T4x4 で debug
    • まずは、multi step の謎をとく
    • 前提
      • debug mode の実験を使う
      • baseline
      • sanity check exp を用意

• 臼山さんと coffee chat

• 作業に戻る
  • T4x4 の実験を再開
    • batch job を投げた
    • wandb
  • NeurIPS の discussion に返信
  • Singularity cluster で PLSGD を投げる
    • 000 PLSGD
    • 001 PLSGD
  • Misc
    • ランチとかの予定を組む
    • 各種連絡
  • MSR
    • Singularity は DO じゃない時はうまく行ってそう
      • github issue
    • T4x4 は intended && grad_clear じゃないとうまくいかない
      • intended && grad_clear でも、あんま loss 順調に下がってるわけではない感じがするけど
• 帰宅後夕食とシャワー
• Misc
  • Sakana AI の The AI Scientist が凄すぎた
  • 高木くんと discussion
• 作業に戻る
  • t4x4
    • v9_debug_k4: outer optimizer がなぜか adam になっていたのでこれを nesterov に修正する必要がある
    • v100 で実験する内容で補完できるかな
  • v100
    • v10_debug_k8 を投げた
    • 001 だけ投げ直し（朝）
• 夜中も Rebuttal 関連
• 最近寝つきが悪い

TODOS

• Embedding について
  • Google の解説

• 学生ビザ延長

• WASAM
  • WASAM の LLM に関するタスクを細かくする
  • WASAM の実験で、二反田先生アドバイスを試してみる

• TPU Setup

• WASAM
  • Language Model
    • github
    • shell
• Curvature Regularization
  • Literature Review

所感

IceBox

• SAM - AutoTune
  • Polyak Step Size 実験
    • github
  • 論文読み
    • https://openreview.net/forum?id=tPEwSYPtAC
    • https://openreview.net/forum?id=kxebDHZ7b7
    • https://arxiv.org/pdf/2312.00209.pdf

Deadlines

• 10/2 FRQ
  • gpt でのフランス語→和訳
• 11/3 Qualcomm Innovation Fellowship
• 5/? Google PhD Fellowship
• 10/? Meta Research PhD Fellowship program

Reference

• TODO - 5/13
• Funding / その他応募締切 - 1/31
• 研究プロジェクト　Notion

Deadline

年間スケジュール

参考 URL: https://hiroki11x.github.io/posts/research_topics/ML_Conference/

学会

- ICLR 9/27? https://iclr.cc/Conferences/2024
- AISTATS 10/15? https://aistats.org/aistats2024/
- MLSys 10/15? https://mlsys.org/Conferences/2024
- CVPR 11/15? https://cvpr2024.thecvf.com/

その他 [fellowship](https://csphdfellowships.org/)

- Microsoft Research PhD Fellowship 夏?
- Apple Scholars in AI/ML PhD Fellowship 7/22?
- NVIDIA Graduate Fellowship Program 9/8?
- Meta Research PhD Fellowship 9/20?
- Qualcomm Innovation Fellowship (QIF) 11/1?
- Google PhD Fellowship 5/?
- JPMC AI PhD Fellowship 5/?