Hiroki Naganuma

Schedule

直近の Schedule

[今月](https://hiroki11x.github.io/posts/diary/2025_03/) - 直近の締め切り/予定 - 3/30? TMLR Submission (Pseudo Asyncronus SGD) - 4/1? 本庄国際奨学財団 - 4/20? RecSys2025 #16_model_personalization - 5/? TMLR Submission (WASASAM) - 5/1? NeurIPS2025 - 5/? TMLR? (Damping Schedule) - 6/1?TSUBAME 利用報告書 - 旅程 - 4/10 Ottawa->Montreal - 4/12 Montreal->Ottawa - 4/13 Ottawa->Tokyo - 4/22 Tokyo->Singapore - 4/24-26 ICLR2025 @Singapore - 4/27 Singapore->Tokyo - 4/28 or 30 米国大使館・領事館 - 5/21 パスポート回収 - 5/23 Tokyo->Ottawa - 5/25 Ottawa->San Francisco (tentaive) - 8/31 San Francisco->Montreal

予定

今日終わらせること

数日中には終わらせたいこと

• TMLR の submision を早くしたい
• Cyberdyne の update

一日の流れ

• 10時前に起きた
• uOttawa にきて作業
  • Misc
    • MSR に返事
    • 長瀬くんに返事
  • COLM Fairness の実験を投げる
    • 色々セットアップ
    • カナダのスパコンがしょぼすぎる割に変なことのなっててキレそうだった
  • PALSGD 実験管理
    • CIFAR10 は死んでる
    • GPT-NEO 125M は動いてるけど相変わらずめっちゃ遅い
  • Cyberdyne の研究
    • Skelton を作成
• 一旦帰宅
  • 食事
  • Misc
    • 単一の深層学習モデルによる不確実性の定量化の紹介 ~その予測結果正しいですか？~
    • RMSNorm が主要な LLM で標準的に採用されているのはなぜか？
      • この記事の仮の結論としては単純に「GPT-3の設計に倣っただけ」
    • 40歳になるので30代でやってよかったことをまとめた
    • A Multi-Power Law for Loss Curve Prediction Across Learning Rate Schedules
  • 作業
    • COLM Fairness
      • Dataset は解決
      • Model も Mila から移動した
      • 実験投げたが pending が長い
      • Path があってない気がするので吉田くんと確認
  • 晩飯
  • 作業
    • PP の面談の準備
    • Incubate Fund の人との面談
    • 吉田くんと作業

今ある研究の整理

• COLM (3月)
  • Fairness w/ PP+Stanford
• TMLR (3月)
  • PALSGD w/ MSR
• TMLR (5月)
  • WASASAM w/ A*STAR
  • Multimodal Merge w/ Cyberdyne
• NeurIPS (5月)
  • OptLRSchedule w/ GDM
  • LossLandscape_MultiTask w/ PP+IIT
• ICLR (9月)
  • MUON w/ Meiji
  • SecondOrderOpt w/ Meta
• ICML (1月)
  • GeneralizationMeasure w/ UOsaka

• TODO

  • 作業
    • PALSGD
      • CIFAR10 の実験確認
        • 少しだけ動いてる、、ほんとに少しだけ
      • GPT-NEO 125M
        • [TODO] PALSGD の prob を小さい値で search
        • [DONE] DDP の baseline 測定
  • WASASAM
    • 実験回す何やるかを明確化
    • Lyle に返事しないと

今日何を学んだか？

喫緊の TODOS

• GDM 関連
  • 必要になったらやる
    • TRC Program (TPU の利用)どうするか？
    • GCP のセットアップが必要 30日間使える
• Misc
  • 絶対に分かる機械学習理論
  • 情報幾何の発展:研究小景が描く最前線
• MUON
  • CIFARF10
    • https://github.com/KellerJordan/cifar10-airbench
  • NanoGPT
    • https://github.com/KellerJordan/modded-nanogpt
• 読み物
  • 言語モデルの内部機序：解析と解釈
  • Llama 3.3 Swallow: 高性能な日本語LLM

所感

Deadlines

Reference

• TODO - 02/14
• 研究プロジェクト Notion

Deadline

年間スケジュール

参考 URL: https://hiroki11x.github.io/posts/research_topics/ML_Conference/