Hiroki Naganuma

Schedule

直近の Schedule



[今月](https://hiroki11x.github.io/posts/diary/2025_05/)

- 直近の締め切り/予定

  - 5/22 LR Schedule w/ GDM vomit draft
  - 5/? TMLR Submission (WASASAM)
  - 7/1? Arxiv -> ICLR2025 (LR Schedule) w/ GDM

- 旅程
  - 5/25 HND->SFO (tentaive)
  - 8/31 San Francisco->Montreal

予定

SBC
アレルギー検査
天間くん

今日終わらせること

LR Schedule の draft を書く
PALSGD の実装にも入りたいところ

数日中には終わらせたいこと

PALSGD Rebuttal (TMLR) w/ MSR
- 8M の実験を Mila cluster とか使って分散で試せるようにする
- 多分、実装はそんなに大変じゃないけど、dataset 周りが気をつける必要がある (IN1K を参考に)
- あとはカナダのクラスタがとことん動かない気がする
LR Schedule Vomit Draft (ICLR) w/ GDM
- まず全体設計を手書きでして思考を整理する
Meta
- ビザ関連費用申請 (配偶者は交通費サポート外)

一日の流れ

朝起きるのが遅かった
川崎でつけ麺食べた
蒲田でアレルギー検査の結果取りに行った
SBC
二子玉で作業
- MUON 関連
- 予約関連
- 色々まとめと整理
電車で作業
- 思考の整理
  - LR Schedule の draft に関して
    - MUON っぽい話も絡めた方がいい気がする
    - まず手を動かす、vomit draft を作って投げる
  - GNS の話も MUON の実験基盤もかなり共通するところがありそう
天間くんと晩御飯でいいお寿司を食べた
- 統合失調症とか色々お医者さん視点のお話し聞けた
帰り、昼のつけ麺がダメだったのか、お腹壊した
- 30分の電車の区間に二時間半くらいかかった、、、、
- もうラーメンとか食べない
- 脂がダメっぽい
帰宅
作業
- なんかしたけど忘れた

今日やりたいこと以下

Tamia Cluster のセットアップ
クラスタが遊んでいるので、埋める
- Mila (そんなに空いてない)
- Rio (小さいの誰も使ってない)
  - SDDCA Seed Experiments
- DGX
  - PALSGD, DiLoCo or Seed Experiments
投げるべき実験
- Fairness
  - Mistral の実験準備
- PALSGD
  - H とか変えた場合の Ablation をずっと流す？？ on DGX?
  - ほんとは K 変えた場合の実験をしたいけど、K=2, 4, 8 までしかできない and それだと若干勿体無い
  - K = 8 以上が必要
頭使うこと
- GDM
  - ワークに関しての literature review と骨子
- WASASAM - Multi Task Landscape と合体
  - 骨子考える

今日何を学んだか？

喫緊の TODOS

Meta の色々
- I-9
  - visa 発行できたらできる
  - 入国しないとできないことがわかった
Canada Compute Cluster 新しいやつを設定
Misc
- 絶対に分かる機械学習理論
- 情報幾何の発展:研究小景が描く最前線
MSRA での talk の準備
MUON
- CIFARF10
  - https://github.com/KellerJordan/cifar10-airbench
- NanoGPT
  - https://github.com/KellerJordan/modded-nanogpt
読み物
- 言語モデルの内部機序：解析と解釈
- Llama 3.3 Swallow: 高性能な日本語 LLM
いつか Blog をこれに移行したい

所感

Deadlines

Reference

Deadline

年間スケジュール



参考 URL: https://hiroki11x.github.io/posts/research_topics/ML_Conference/