Hiroki Naganuma

Schedule

直近の Schedule



[今月](https://hiroki11x.github.io/posts/diary/2025_05/)

- 直近の締め切り/予定

  - 5/18 LR Schedule w/ GDM vomit draft
  - 5/? TMLR Submission (WASASAM)
  - 7/1? Arxiv -> ICLR2025 (LR Schedule) w/ GDM

- 旅程
  - 5/16-18 軽井沢合宿
  - 5/25 HND->SFO (tentaive)
  - 8/31 San Francisco->Montreal

予定

軽井沢合宿

今日終わらせること

LR Schedule の draft を少し書いて Atish に返事する
PALSGD の実装にも入りたいところ

数日中には終わらせたいこと

SB Intuition / MSRA Tokyo での talk の準備
MUON slide for UMeiji
PALSGD Rebuttal (TMLR) w/ MSR
- 8M の実験を Mila cluster とか使って分散で試せるようにする
- 多分、実装はそんなに大変じゃないけど、dataset 周りが気をつける必要がある (IN1K を参考に)
- あとはカナダのクラスタがとことん動かない気がする
LR Schedule Vomit Draft (ICLR) w/ GDM
- まず全体設計を手書きでして思考を整理する
Meta
- ビザ関連費用申請 (配偶者は交通費サポート外)

一日の流れ

昨日は 2 時前に寝て、今朝は 10 時におきた
パン屋で朝食
ここまで昨日と変わらず
家で作業
- Canada Compute Cluster のアカウント更新
- LR Schedule の整理
  - related works の整理 LR schedule
ソースカツ丼食べに行った
軽井沢 -> 東京
- 作業
  - メール返したり
  - OpnReview 関連色々 for ARR
帰宅
- シャワー
- 片付け
- 作業
  - LR Schedule

今日やりたいこと以下

色々キャンセルした予定を立て直す
- よし
Tamia Cluster のセットアップ
クラスタが遊んでいるので、埋める
- Mila (そんなに空いてない)
- Rio (小さいの誰も使ってない)
  - SDDCA Seed Experiments
- DGX
  - PALSGD, DiLoCo or Seed Experiments
投げるべき実験
- Fairness
  - Mistral の実験準備
- PALSGD
  - H とか変えた場合の Ablation をずっと流す？？ on DGX?
  - ほんとは K 変えた場合の実験をしたいけど、K=2, 4, 8 までしかできない and それだと若干勿体無い
  - K = 8 以上が必要
頭使うこと
- GDM
  - ワークに関しての literature review と骨子
- WASASAM - Multi Task Landscape と合体
  - 骨子考える

今日何を学んだか？

喫緊の TODOS

Meta の色々
- workday
  - Meta から corporate housing の住所教えてもらったら住所登録する
- I-9
  - visa 発行できたらできる
  - 入国しないとできないことがわかった
Canada Compute Cluster 新しいやつを設定
Misc
- 絶対に分かる機械学習理論
- 情報幾何の発展:研究小景が描く最前線
MSRA での talk の準備
MUON
- CIFARF10
  - https://github.com/KellerJordan/cifar10-airbench
- NanoGPT
  - https://github.com/KellerJordan/modded-nanogpt
読み物
- 言語モデルの内部機序：解析と解釈
- Llama 3.3 Swallow: 高性能な日本語 LLM
いつか Blog をこれに移行したい

所感

Deadlines

Reference

Deadline

年間スケジュール



参考 URL: https://hiroki11x.github.io/posts/research_topics/ML_Conference/