Hiroki Naganuma

Schedule

直近の Schedule

[今月](https://hiroki11x.github.io/posts/diary/2024_12/) - 直近の締め切り/予定 - 1/31 ICML (Learning Rate Schedule) - 2/? TMLR? (Damping Schedule) - 2/? Arxiv (Curvature)

予定

SFO -> YVR -> NRT

今日終わらせること

数日中には終わらせたいこと

WASASAM 実験

一日の流れ

機内で日付変更線を超えた
YVR -> NRT
- 少し仮眠
- やること整理
  - 阪大の書類作成とメール準備
  - スケジューリング全般
    - 2024年
    - 2025年
  - 博論に向けてスライドと資料も作らないと
    - これまでの研究の骨子を research statement としてまとめる
    - スライドを若干更新した
  - TODO とか色々更新
    - TODO - 12/7
    - Funding / その他応募締切 - 1/31
PALSGD
- ResNet-50
  - ハイパラサーチで、competitive な結果を出す
  - Writing の問題を解決
- GPT-NEO の分散設定
  - そもそも llamma とか、よく使われてる分散実装を使ったほうがいいかも？
    - DiLoCo の設定を踏襲する
  - pre-training と fine-tuning の研究において使いやすいやつにしたい
    - これは、WASASAM のためでもある
WASASAM
- DomainBed の設定では、それなりにいい結果？
- 言語モデル設定での evaluation をどうにかしたい
- Tr(H) との相関があるか怪しい気もする
帰宅後にすること
- Timm OOD
  - Mila Cluster に job 投げる
- PALSGD
  - DiLoCo の実験設定を見る
  - 他の研究者と実装を共有できないか考える
  - 明日に持ち越し
- WASASAM
  - 一旦忘れて GDM 優先したほうがいいかも

喫緊のTODOS

Misc
- 米国への fast entry みたいなのを登録しないと
- MSF の申請書も作らないと
研究関連
- DGX Cluster どうにかしないと勿体無い
- Meta の Interview 対策 (AI Design)
Project
- GDM
  - 解決しなきゃいけない CL がいっぱいある
- MSR
  - ResNet 系の実験 (今投げてる)
  - GPT-NEO の実験

中期的なTODO

(1/10) Meta Montreal AI Mentorship Program https://www.metacareers.com/jobs/925575806198843/

所感

Deadlines

1/? Meta Research PhD Fellowship program

Reference

Deadline

年間スケジュール



参考 URL: https://hiroki11x.github.io/posts/research_topics/ML_Conference/

学会

- NeurIPS WS 12/14,15

その他 [fellowship](https://csphdfellowships.org/)

- そのうちあるかな？？

  - 2025 Meta Research PhD Fellowship 9/20? (10/13 確認 - 募集始まってなさそう)

- かなり先

  - 2025 Apple Scholars in AI/ML PhD Fellowship 7/22? (10/13 確認 - 夏に終わってたかも)
  - 2025 Google PhD Fellowship 5/8? (10/13 確認 - 募集始まってなさそう)
  - 2025 IBM PhD Fellowship 8/? (10/13 確認 - 募集が 8 月末に終わってた)

- あるかどうか不明
  - 2025 Microsoft Research PhD Fellowship 夏? (10/13 確認 - 2022 年で止まってる)
  - 2024? JP Morgan AI PhD Fellowship 5/? (10/13 確認 - 2023 で止まってる )