Hiroki Naganuma

Schedule

直近の Schedule

[今月](https://hiroki11x.github.io/posts/diary/2025_03/) - 直近の締め切り/予定 - 3/20 COLM2025 #15_fairness_eval_for_efficient? - 3/30? TMLR Submission (Pseudo Asyncronus SGD) - 4/1? 本庄国際奨学財団 - 4/20? RecSys2025 #16_model_personalization - 5/? TMLR Submission (WASASAM) - 5/1? NeurIPS2025 - 5/? TMLR? (Damping Schedule) - 6/1?TSUBAME 利用報告書 - 旅程 - 4/10 Ottawa->Montreal - 4/12 Montreal->Ottawa - 4/13 Ottawa->Tokyo (tentaive) - 5/1 Tokyo->Ottawa (tentaive) - 5/3 Ottawa->New York - 5/7 New York->Tokyo - 5/25 Tokyo->San Francisco - 8/31 San Francisco->Montreal

予定

今日終わらせること

数日中には終わらせたいこと

• TMLR の submision を早くしたい
• Cyberdyne の update

一日の流れ

• 9時前に起きた
• EQUATOR カフェで作業
  • PP 関連
    • 藤間さんの論文修正
    • 楢木くん吉田くんへの質問回答
  • Misc
    • 読み物
      • LLM 開発を支える多様な Fine-Tuning：PFN での取り組み
        • Pretraining は 4k-token で行い、後で Context 長を拡張するのが一般的典型的には以下の２ステップで行う
          • Positional Encoding の修正
          • Continual Pretraining
        • Alignment
          • Supervised Fine-Tuning (SFT, Instruction Tuning)
          • Direct Preference Optimization (DPO)
          • Reinforcement Learning (RL)
        • 知識の追加
          • SFT は新しい知識の獲得には不向き (Gekhman et al. 2024) で、知識の追加には対象のドメインでの Continual Pretraining を行うのが一般的
        • 知識の追加による破滅的忘却の抑制
          • Continual Pretraining でも破滅的忘却 (Catastrophic forgetting) は起こる
            • 新しい知識の学習によって元々持っていた知識を忘れてしまう現象
• 帰宅して昼寝
• 作業
  • PP の meeting
  • PALSGD
    • Colab を Local に移した
• 明日やること
  • WASASAM
    • 方向性の修正
• WASASAM
  • 実験回す何やるかを明確化
  • Lyle に返事しないと

今日何を学んだか？

喫緊の TODOS

• しばらく触らない
  • PP の研究
  • MSR の研究 (PALSGD)
  • SASAM の研究
• GDM 関連
  • 必要になったらやる
    • TRC Program (TPU の利用)どうするか？
    • GCP のセットアップが必要 30日間使える
• MUON
  • CIFARF10
    • https://github.com/KellerJordan/cifar10-airbench
  • NanoGPT
    • https://github.com/KellerJordan/modded-nanogpt
• 読み物
  • 言語モデルの内部機序：解析と解釈
  • Llama 3.3 Swallow: 高性能な日本語LLM

所感

Deadlines

Reference

• TODO - 02/14
• 研究プロジェクト Notion

Deadline

年間スケジュール

参考 URL: https://hiroki11x.github.io/posts/research_topics/ML_Conference/