Hiroki Naganuma

Schedule

直近の Schedule

[今月](https://hiroki11x.github.io/posts/diary/2025_05/)

- 直近の締め切り/予定

  - 5/16 EMNLP2025 Submission
  - 5/? TMLR Submission (WASASAM)
  - 7/1? Arxiv -> ICLR2025 (LR Schedule) w/ GDM

- 旅程
  - 5/16-18 軽井沢合宿
  - 5/25 HND->SFO (tentaive)
  - 8/31 San Francisco->Montreal

予定

• MS ご飯
• 亀田さんに会う
• Cyberdyne ご飯

今日終わらせること

数日中には終わらせたいこと

• MUON slide for UMeiji
• PALSGD Rebuttal (TMLR) w/ MSR
  • 8M の実験を Mila cluster とか使って分散で試せるようにする
  • 多分、実装はそんなに大変じゃないけど、dataset 周りが気をつける必要がある (IN1K を参考に)
  • あとはカナダのクラスタがとことん動かない気がする
• LR Schedule Vomit Draft (ICLR) w/ GDM
  • まず全体設計を手書きでして思考を整理する
• Meta
  • ビザ関連費用申請 (配偶者は交通費サポート外)

一日の流れ

• 薬のせいか眠くて起きるのも遅かった
• 深夜に少し起きて Meta の色々をやった
• 移動中
  • Meta
    • 色々・航空券関連
• MS ご飯
• スタバで作業
  • 色々連絡
  • Meta
    • ビザ関連費用申請 (配偶者は交通費サポート外)
    • I-9 (ビザでたのでできるはず)
      • I-94 依存なので、入国してからになるかも？
      • とりあえずアポ取った
  • 優先順位
    • LR Schedule を少し考える
    • TMLR の Rebuttal をする
• 亀田さんに会う
• 銀座に移動
• 山海先生と櫻井さんとディナー
  • 二人とも育ちがとても良いのが伝わった
  • 山海先生のこれまでの歩みはかなり理想系
    • 自分で分野開拓して、世の中に起こしているインパクトが非常に高い
    • 周辺のエコシステムも構築していて、自分が起こすべきこと、実行すべきことを実行しやすい環境を自分で作ってる
    • ちょっと忙しすぎてお身体が心配だけど、人生とても充実してそう
    • 圧倒的なカリスマ性と、人間的にできた人だなと感じた
  • 自分の人生観にかなり大きな影響を与えてくれた
    • 僕がしょうもない事に悩んでたり一喜一憂するのが馬鹿らしい
• 帰宅の電車
  • 連絡系
    • お礼のメールとメッセージ
• 帰宅後
  • シャワー
  • 作業
    • Meta 関連
• 明日やる
  • GDM の執筆のために頭使う作業と、Atish への返事

今日やりたいこと以下

• 色々キャンセルした予定を立て直す
  • よし

• Tamia Cluster のセットアップ

• クラスタが遊んでいるので、埋める

  • Mila (そんなに空いてない)
  • Rio (小さいの誰も使ってない)
    • SDDCA Seed Experiments
  • DGX
    • PALSGD, DiLoCo or Seed Experiments

• 投げるべき実験

  • Fairness
    • Mistral の実験準備
  • PALSGD
    • H とか変えた場合の Ablation をずっと流す？？ on DGX?
    • ほんとは K 変えた場合の実験をしたいけど、K=2, 4, 8 までしかできない and それだと若干勿体無い
    • K = 8 以上が必要
• 頭使うこと
  • GDM
    • ワークに関しての literature review と骨子
  • WASASAM - Multi Task Landscape と合体
    • 骨子考える

今日何を学んだか？

喫緊の TODOS

• Meta の色々

  • workday
    • Meta から corporate housing の住所教えてもらったら住所登録する
  • I-9
    • visa 発行できたらできる

• Canada Compute Cluster 新しいやつを設定

• Misc

  • 絶対に分かる機械学習理論
  • 情報幾何の発展:研究小景が描く最前線

• MSRA での talk の準備

• MUON

  • CIFARF10
    • https://github.com/KellerJordan/cifar10-airbench
  • NanoGPT
    • https://github.com/KellerJordan/modded-nanogpt

• 読み物

  • 言語モデルの内部機序：解析と解釈
  • Llama 3.3 Swallow: 高性能な日本語 LLM

• いつか Blog をこれに移行したい

所感

Deadlines

Reference

• TODO - 02/14
• 研究プロジェクト Notion

Deadline

年間スケジュール

参考 URL: https://hiroki11x.github.io/posts/research_topics/ML_Conference/