Hiroki Naganuma

Schedule

直近の Schedule

[今月](https://hiroki11x.github.io/posts/diary/2025_06/)

- 直近の締め切り/予定

  - 6/15 TMLR Rebuttal (PALSGD) Deadline
  - 6/26 BOOST
  - 7/1? Arxiv -> ICLR2025 (LR Schedule) w/ GDM
  - 10/? TMLR Submission (WASASAM)

- 旅程
  - 8/31 San Francisco->Montreal

予定

• Meta (金曜日)
• MSR の実験もしないと

今日終わらせること

• MSR の work を再開する

数日中には終わらせたいこと

• PALSGD Rebuttal (TMLR) w/ MSR
  • 8M の実験を Mila cluster とか使って分散で試せるようにする
  • 多分、実装はそんなに大変じゃないけど、dataset 周りが気をつける必要がある (IN1K を参考に)
  • あとはカナダのクラスタがとことん動かない気がする

一日の流れ

• 深夜も作業
  • 昨日の夜は Meta の実験を色々追加した (ToyModel)
• 9時過ぎに起きた
• バスで作業
  • MSR の実験確認
• Meta の作業
• バスで作業
  • https://fabian-sp.github.io/posts/2024/02/decoupling/
• 帰宅
  • 夕食
  • ジャグジー
  • 作業
    • MSR の実験
      • ResNet18 / 16GPU の実験を追加 (RTX8000 で DiLoCo - DDP がまだ実行できていない)
        • https://wandb.ai/pytorch-gan/tmlr2025_cifar10_bench_k16/ から
        • https://wandb.ai/pytorch-gan/tmlr2025_cifar10_resnet18/ に移す
      • VGG16 / 2node 8gpu の実験を追加 (RTX8000 で DDP)
        • L40S の結果はあるけど、、、時間比較ができないので一旦除外
        • https://wandb.ai/pytorch-gan/tmlr2025_cifar10_bench_k8 から
        • https://wandb.ai/pytorch-gan/tmlr2025_cifar10_vgg16/ に移す
• MSR の色々
  • worker 数を増やす
    • GPT-NEO を scale させられるか確認 -> 一旦保留
    • IN1K の実験の K の scale をした結果を使う -> jupyter だけ書けば整合した結果が出そう
    • VGG Scale で worker 数を増やす実験 -> Mila で投げたけど間に合うかな
  • Local SGD とかとの比較
    • Simulation 環境でも良さそう
    • 使える wandb を探す
  • これまでの実験結果の step 数と all reduce 回数の plot の追加
  • DiLoCo の ablation
    • H とか色々？？
  • GDM の色々
    • それらの figure の使い方を考える
    • schedule param の figure を作る

今日やりたいこと以下

• Tamia Cluster のセットアップ

• クラスタが遊んでいるので、埋める

  • Mila (そんなに空いてない)
  • Rio (小さいの誰も使ってない)
    • SDDCA Seed Experiments
  • DGX
    • PALSGD, DiLoCo or Seed Experiments

• 投げるべき実験

  • Fairness
    • Mistral の実験準備
  • PALSGD
    • H とか変えた場合の Ablation をずっと流す？？ on DGX?
    • ほんとは K 変えた場合の実験をしたいけど、K=2, 4, 8 までしかできない and それだと若干勿体無い
    • K = 8 以上が必要

今日何を学んだか？

喫緊の TODOS

• DiLoCo 系を TorchTitan で実装できそう？？
  • https://discuss.pytorch.org/t/distributed-w-torchtitan-semi-synchronous-training-using-torchft/219874

• Canada Compute Cluster 新しいやつを設定

• Misc

  • 絶対に分かる機械学習理論
  • 情報幾何の発展:研究小景が描く最前線

• MUON

  • CIFARF10
    • https://github.com/KellerJordan/cifar10-airbench
  • NanoGPT
    • https://github.com/KellerJordan/modded-nanogpt

• 読み物

  • 言語モデルの内部機序：解析と解釈
  • Llama 3.3 Swallow: 高性能な日本語 LLM
• いつか Blog をこれに移行したい

所感

Deadlines

Reference

• TODO - 02/14
• 研究プロジェクト Notion

Deadline

年間スケジュール

参考 URL: https://hiroki11x.github.io/posts/research_topics/ML_Conference/