Hiroki Naganuma

Schedule

直近の Schedule

[今月](https://hiroki11x.github.io/posts/diary/2023_07/) ``` - 直近の締め切り/予定 - 9/24 ICLR x2 ( SAM-Focal / Calibration CTR) - 10/? AISTATS x3 (SAM x Auto-Tuning / TIC / RMHMC) - 11/? CVPR x2 (IRM Calibration / OOD Timm) - 1/? ICML x1 (F2 Metric? ) ```

Reference

• TODO - 05/22
• Funding 締切 - 05/30
• 研究プロジェクト

今日の目標

• Auto-Tune Deep CTR を作る

一日の流れ

• 8時に起きた、ゆっくり寝たつもりだったけど体が重い気もする
  • B3 で朝食
  • TODO read
    • Sharpness Minimization Algorithms Do Not Only Minimize Sharpness To Achieve Better Generalization
    • A Modern Look at the Relationship between Sharpness and Generalization
    • D-Adaptation / Learning rate free learning for SGD, AdaGrad and Adam!
    • Adaptive Gradient Descent without Descent
    • BN-invariant sharpness regularizes the training model to better generalization
• B1 に移動してきてカフェと作業

  • 実験管理関連

  • Misc
    • アカデミー会関連
      • メーリスに投げた
    • プリンター関連
  • 読み物
    • 目がショボショボするのはなぜ？ 対処法や目薬の選び方を紹介
      • 目がショボショボしたら、まずは目を休める
        • 目が疲れたなと思ったら、短い時間でも目をつぶるなどまず目を休めることが大事です。
        • 目のショボショボは、目を酷使することによって、目の中の筋肉(毛様体筋)の働きが低下することで起きることも原因のひとつ。遠くを見たり近くを見たり、目を動かしたりすることで目の筋肉の緊張をほぐすと良いでしょう。また、意識的にまばたきをするのも、目の周りの筋肉のストレッチ効果と血行改善効果が期待できます。
        • その場合、まばたきはただ繰り返すだけよりも、グッと強く閉じた後にパッと開ける、など目の周りの筋肉を大きく動かすイメージで行うとさらに良いです。
      • パソコンで作業をする時は、環境を整える
        • 同じ姿勢のまま長時間パソコンやスマ−トフォンの作業を続けると、目のピント調節機能が徐々に低下し目がショボショボしてしまいます。1時間ごとに約15分は休憩を取り、ディスプレイから離れて目を休めましょう。パソコンを使用するときは、目から画面との距離を40cm以上、スマートフォンの場合も30㎝以上離すと目が疲れにくいと言われています。
        • また、画面を見上げる姿勢はドライアイの原因になると言われているので、ディスプレイは顔よりも下の位置にするのがおすすめです。
        • さらに、ディスプレイの明るさも作業する場所に合わせて調整すると、目にかかる負担を大きく軽減できるので目のショボショボを防ぎやすいです。
      • 目がショボショボしたら、冷やすより温める
        • 目がショボショボしたときには、冷やすより温めたほうが良いと言われています。目を温めると血行が良くなり、目の筋肉の緊張が緩和されるので、疲れ目には特におすすめ。
        • また、目を温めるのはドライアイ（目のかわき）にも効果があります。まぶたの縁には涙を目に留まらせ目が乾燥するのを防ぐ油分を分泌するマイボーム腺があります。マイボーム腺が詰まることで、涙の蒸発を抑える油分が分泌されず、涙の質が悪くなり、目が乾いた状態になってしまいます。目を温めることで詰まっていた油分が溶け、分泌を促す作用が期待できます。目を温める際には、やけどに注意して、蒸しタオルなどを使って優しく温めてみてください。
        • ただし、白目が充血しているときは、炎症をとるために冷やすほうが効果があるので気を付けてくださいね。
• B3 でランチ
  • Hikaru Takemura さんを招待してランチした
  • オフィス紹介した
• B1 で作業
  • How to Scale Your EMA
    • Charles がインターンしてるところの、Pierre Ablin が著者に入ってるな
  • LLM勉強会
    • ref

• Nijiya によって帰った

• 帰宅
  • テニスした
  • Summer Outdoor Movie Night Series
  • 色々作業
  • 家の片付け
• TODO
  • CTR
    • LR を学習中に計測
      • 実装深掘り
    • AdSGD の実装が正しいか見る amplifier = 0.02 から prevopt も AdSGD のインスタンスにした
      • ref https://github.com/ymalitsky/adaptive_GD/blob/master/pytorch/run.py
      • どうやら正しそう
      • SAM + AdSGD は確認が必要

所感

TODO

• やらなきゃいけない
  • for AISTATS
    • CIFAR10_C とかの実験準備 ref
    • ImageNet-V2 x AutoTune うまくいかない
    • CIFAR10_C　モデル選択は　Val で行うので問題ないが、 test が問題あり
  • for ICLR / CTR
    • SAM がなぜ聞いてないかを検証
    • Logitnorm がなんでうまくいくかを説明

読み物

• 大規模言語モデル(LLM)の作り方 Megatron-DeepSpeed編 Part2

• ICLR
  • Focal SAM
    • 新しい結果反映 (ImageNet-V2 SAM)
      • ref
• 今後の進め方を考える
  • TIC

Icebox

• Optimal Transport / Kilian とシュッとやらなきゃ
  • F2 Metric (AISTATS 10月) / Kilian
• Calibration + OOD Generalization
  • OOD Timm (UNCV 7月 / CVP 10月) / 幡谷さん
  • SAM x FocalLoss (UNCV 7月 / ICLR 10月) / 木村さん
  • SAM x Auto-Tuning (AISTATS 10月) / Lyle
  • LogitNorm (ICLR 9月) / LinkedIN
  • IRM (CVPR 11月) / 吉田くん
  • KFAC x Damping (???? 1月) / Single Author?
• Others / コンテキストスイッチが必要
  • TIC (AISTATS? 10月)
  • RHHMC (AISTATS? 10月)
• SWARL (ICRA)

Deadline

Spread Sheet

年間スケジュール

```
[LinkedIn, Sunnyvale, 6/18-9/10]
9月下旬 ICLR 締め切り x2 (LogitNorm, SAM-Focal)
[ICCV, Paris, 12/1-5?]
10月中旬 AISTATS 締め切り x3 (TIC, RMHMC, Auto Tune SAM)
11月中旬 CVPR 締め切り
[NeurIPS, New Orleans, 12/1-5?]
1月下旬　ICML 締め切り (F2)
```