Hiroki Naganuma

Schedule

直近の Schedule



[今月](https://hiroki11x.github.io/posts/diary/2025_06/)

- 直近の締め切り/予定

  - 6/15 TMLR Rebuttal (PALSGD) Deadline
  - 6/? TMLR Submission (WASASAM)
  - 6/26 BOOST
  - 7/1? Arxiv -> ICLR2025 (LR Schedule) w/ GDM

- 旅程
  - 8/31 San Francisco->Montreal

予定

MSR の実験もしないと

今日終わらせること

MSR の work を再開する

数日中には終わらせたいこと

PALSGD Rebuttal (TMLR) w/ MSR
- 8M の実験を Mila cluster とか使って分散で試せるようにする
- 多分、実装はそんなに大変じゃないけど、dataset 周りが気をつける必要がある (IN1K を参考に)
- あとはカナダのクラスタがとことん動かない気がする

一日の流れ

8時過ぎに起きた
Ioannis の group meeting に参加
MSR の Rebuttal の件のまとめ
Ioannis と 1on1
- Update のメールも送った
シャトルの中で作業
- Meta の色々
MPK20 で作業
- なんか気分が悪い
- しばらく作業してたらマシになってきた
- MPK20 のご飯は微妙なのといいのがあった
- スイーツは素晴らしかった
- 食後もしばらく meta の作業
早めに帰宅
- Meta の続き
- 晩飯
- ジャグジー入った
MSR の色々
- Xinzhi に連絡
- worker 数を増やす
  - GPT-NEO を scale させられるか確認 -> 一旦保留
  - IN1K の実験の K の scale をした結果を使う -> jupyter だけ書けば整合した結果が出そう
  - VGG Scale で worker 数を増やす実験 -> Mila で投げた
- Local SGD とかとの比較
  - Simulation 環境でも良さそう
- これまでの実験結果の step 数と all reduce 回数の plot の追加
- DiLoCo の ablation
  - H とか色々？？
- GDM の色々
  - それらの figure の使い方を考える
  - schedule param の figure を作る

今日やりたいこと以下

Tamia Cluster のセットアップ
クラスタが遊んでいるので、埋める
- Mila (そんなに空いてない)
- Rio (小さいの誰も使ってない)
  - SDDCA Seed Experiments
- DGX
  - PALSGD, DiLoCo or Seed Experiments
投げるべき実験
- Fairness
  - Mistral の実験準備
- PALSGD
  - H とか変えた場合の Ablation をずっと流す？？ on DGX?
  - ほんとは K 変えた場合の実験をしたいけど、K=2, 4, 8 までしかできない and それだと若干勿体無い
  - K = 8 以上が必要

今日何を学んだか？

喫緊の TODOS

DiLoCo 系を TorchTitan で実装できそう？？
- https://discuss.pytorch.org/t/distributed-w-torchtitan-semi-synchronous-training-using-torchft/219874
Canada Compute Cluster 新しいやつを設定
Misc
- 絶対に分かる機械学習理論
- 情報幾何の発展:研究小景が描く最前線
MUON
- CIFARF10
  - https://github.com/KellerJordan/cifar10-airbench
- NanoGPT
  - https://github.com/KellerJordan/modded-nanogpt
読み物
- 言語モデルの内部機序：解析と解釈
- Llama 3.3 Swallow: 高性能な日本語 LLM
いつか Blog をこれに移行したい

所感

Deadlines

Reference

Deadline

年間スケジュール



参考 URL: https://hiroki11x.github.io/posts/research_topics/ML_Conference/