Hiroki Naganuma

Schedule

直近の Schedule



[今月](https://hiroki11x.github.io/posts/diary/2025_06/)

- 直近の締め切り/予定

  - 6/15 TMLR Rebuttal (PALSGD) Deadline
  - 6/? TMLR Submission (WASASAM)
  - 6/26 BOOST
  - 7/1? Arxiv -> ICLR2025 (LR Schedule) w/ GDM

- 旅程
  - 8/31 San Francisco->Montreal

予定

LR Schedule 早く終わらせないと
MSR の実験もしないと

今日終わらせること

PALSGD の実装にも入りたいところ
- まず、8M の実験の pip freeze をする
- Mila Cluster か何かで分散学習を試す
- Worker 数を増やすのと、LocalSGD や Async 設定との比較も必要といわれて正直しんどい

数日中には終わらせたいこと

PALSGD Rebuttal (TMLR) w/ MSR
- 8M の実験を Mila cluster とか使って分散で試せるようにする
- 多分、実装はそんなに大変じゃないけど、dataset 周りが気をつける必要がある (IN1K を参考に)
- あとはカナダのクラスタがとことん動かない気がする

一日の流れ

8時過ぎに起きた
シャトルの中で作業
- GDM の色々
Meta の色々
16時過ぎくらいから、頭が若干痛い気がする
晩飯は家で食べた
- GDM の色々
  - まず全ての figure の caption を書く (WIP)
  - それらの figure の使い方を考える
  - schedule param の figure を作る
明日は朝 Ioannis と meeting
その後 Meta の話、その後 MSR の実験を進める

今日やりたいこと以下

Tamia Cluster のセットアップ
クラスタが遊んでいるので、埋める
- Mila (そんなに空いてない)
- Rio (小さいの誰も使ってない)
  - SDDCA Seed Experiments
- DGX
  - PALSGD, DiLoCo or Seed Experiments
投げるべき実験
- Fairness
  - Mistral の実験準備
- PALSGD
  - H とか変えた場合の Ablation をずっと流す？？ on DGX?
  - ほんとは K 変えた場合の実験をしたいけど、K=2, 4, 8 までしかできない and それだと若干勿体無い
  - K = 8 以上が必要
頭使うこと
- WASASAM - Multi Task Landscape と合体
  - 骨子考える

今日何を学んだか？

喫緊の TODOS

Canada Compute Cluster 新しいやつを設定
Misc
- 絶対に分かる機械学習理論
- 情報幾何の発展:研究小景が描く最前線
MUON
- CIFARF10
  - https://github.com/KellerJordan/cifar10-airbench
- NanoGPT
  - https://github.com/KellerJordan/modded-nanogpt
読み物
- 言語モデルの内部機序：解析と解釈
- Llama 3.3 Swallow: 高性能な日本語 LLM
いつか Blog をこれに移行したい

所感

Deadlines

Reference

Deadline

年間スケジュール



参考 URL: https://hiroki11x.github.io/posts/research_topics/ML_Conference/