Hiroki Naganuma

Schedule

直近の Schedule

[今月](https://hiroki11x.github.io/posts/diary/2023_05/) - 直近の締め切り/予定 - 6/2 Velo Quebec - 6/6 夜はちゃんと休む - 6/9 MIRU Submission Deadline (w/ 熊谷+山木) - 6/10? ICONIP (SWARL) - 6/11 Ioannis Dinner - 6/12-18 共同研究 (w/ 幡谷さん) for AISTATS2024 - 6/19 FIT Paper Submission (IRM, SWARL) - 6/23 IJCNN Presentation (Corruption and Perturbation) - 9/? ICLR? (F2 Metric)?

Reference

• TODO - 05/22
• Funding 締切 - 05/30
• 研究プロジェクト

一日の流れ

• PP 関連
  • 色々返事したり
  • マネジメント
• Misc
  • クーラー関係
  • その他返事
  • 読み物
    • 「あれもこれも勉強したいのに、どれも中途半端になる」と悩む人がやってみるべき3つのこと
      • 勉強したいことを「モノ化」して表をつくる
        • 「モノ化」とは、やりたいことがたくさんあるときに、それらが実際に「『どれだけできるか』を明確にするために、やりたいことのそれぞれについて、いつ、なにを・どれだけやったかを記録する」
        • 「やりたいこと（テーマ・ジャンル）を縦軸に、日付を横軸にとった簡単な表をつくり、実行したことをジャンル別に毎日埋めていくとよい」
      • 勉強したいことを「親子の関係」で管理する
        • 曖昧で大きなタスクを「親」、より具体的で小さなタスクを「子」とし、それらを「入れ子」の構造でとらえるのです。「子」のタスクは「親」のタスクにひもづいており、複数ある「子」のタスクが全部終わると「親」のタスクが終わったことになります。
      • 「分割」して勉強する
        • 「テスト後にもその知識が必要になる長期的な勉強の場合は、分割して勉強したほうがよい」
    • 理想の習慣化を実現できる「ガントチャートノート」。30日間続けて得られた嬉しすぎる効果
      • そもそも「ガントチャート」は、ビジネスシーンなどで用いられる工程管理表のこと。縦軸にタスク、横軸に日付を書き、帯状のグラフをつくることでタスクの進捗状況を管理します。
    • 「地頭」って何？ どうすれば鍛えられるの？ “地頭ブームの火つけ役” に聞いてみた。
      • 地頭の良さとは「思考が深いこと」
      • 知的能力には次の3種類があるようです。
        • 知識力
        • コミュニケーション能力
        • 考える力 = 地頭力
          • 知的好奇心 / 何にでも興味をもって能動的に動く力
          • 論理思考力 / 物事を筋道立てて考える力
          • 直観力 / いわゆる「ひらめき」
          • 仮説思考力 / 結論から考える力
          • フレームワーク思考力 / 全体から考える力
          • 抽象化思考力 / 具体的な経験を一般化したルールにして、それを別のものに適用する力
      • 現状把握力――空気が読める、一を聞いて十を知る、あうんの呼吸ができる力
      • 論理的思考力――ある概念から結論まで論理とファクトを積み上げる、数学の証明問題を解くような力
      • 表現力――自分のイメージをきちんと他者に伝えるための力
      • 発想力――AとBというまったく異なるものから、共通項を見いだしたり、矛盾する論をより高次の段階で統合したりする力
  • 「仕事が超絶速い人」の日常習慣3個。“〇〇直前の10分間” は絶対仕事に打ち込んで！
    • 【1】朝の時間帯を有効に使う
    • 【2】食事と集中力の関係性を理解している
    • 【3】仕事の場所を選ばない
• 49 parallel にきた
  • Stable Diffusion Clearly Explained!
  • 非TransformerのLLM RWKV の仕組み
• WACVに向けて
• SAM (CIFAR10)
  • 有望なハイパラに対して(BS=1, FBそれぞれに) -> Mila + Narval に投げた
    • Seed で実験
    • SAM の　Rho =0 ->0.5 までハイパラ探索
    • Tr(H) と λmax(H) を計測
  • 有望なハイパラに対して(BS=256) -> Mila + Narval に投げた
    • Seed で実験
    • SAM の　Rho =0 ->0.5 までハイパラ探索
    • Tr(H) と λmax(H) を計測
  • そのうち、前半に SAM 適応せず後半適応させるみたいなことをやるか？
• Focal Loss
  • 有望なハイパラに対して (BS=256?) -> Mila + Narval に投げた
    • Seed で実験
    • gamma を変えてみる
    • SAM と Momentum に対して実験してみた
• PP 関連
  • VC 関連
  • IPC 面談
  • 各種連絡
• 帰宅してやること
  • LinkedIn の Paperwork (めっちゃ長い) / これは週末かな？
  • WACV に向けて
  • PP 関連
  • Damping Scheduling も Hessian いい感じに見れば、成仏できるかも？！
• 明日やること
  • Lyle と話す
  • 論文読む
  • ImageNet Scale の実験準備
  • DomaiBed での実験準備

所感

自戒

これ、最近言われた。 pic.twitter.com/A0pz5webKv

— トマトくん (@ganbarisuginai0) May 31, 2023

TODO

• 今後の進め方を考える
  • TIC
• OOD work を拡張する
  • SAM
  • Sophie
    • https://github.com/kyegomez/Sophia/tree/e5

Icebox

• TIC (AISTATS?)
• RHHMC (AISTATS?)
• KFAC x Damping
• F2 Metric (NeurIPS->ICLR?)
• OT Empirical (TMLR?)
• LogitNorm (ICLR)
• SWARL (ICONIP)
• IRM (ICONIP)

• MultiModal (MIRU)

• Cyberdyne
  • Inflax DB

Deadline

Spread Sheet

年間スケジュール

```
6月下旬 WACV 締め切り x1 (SAM Calibration)
[LinkedIn, Sunnyvale, 6/18-9/10]
8月中旬 WACV 締め切り x2 (IRM, Damping)
9月下旬 ICLR 締め切り x3 (LogitNorm, SAM, F2)
10月中旬 AISTATS 締め切り x3 (TIC, RMHMC)
11月中旬 CVPR 締め切り
[NeurIPS, New Orleans, 12/1-5?]
[WACV, Hawaii, 1/3-5?]
```