Hiroki Naganuma

• TODO / 0724 / Update

  Schedule

午前

• 朝から、オールドポートの Tommy Cafe に来た
• LinkedIn の実験とかまわりの問題の切り分け
  • 色々実装と実験
  • 技術的なやつを更新した

午後

• Dandy (オールドポートの店) でハンバーガー買った

• McGill の庭で食べた

• LinkedIn
  • 頭使わなくてできる
    • 実験追加
    • 結果の解析
    • ミーティング資料まとめ
    • Meeting
    • Paperworks
      • 経費生産関連
      • Internpods 返事
      • 最終発表関連
  • 頭を使う
    • LogitNorm の解析をする
      • wandb.watch とかもやるか？ -> これはやりすぎなのでやらない
      • 実験スクリプトを作る
      • この問題設定が OOD でない可能性
        • これは　argparse での　Bool の問題というのがわかった
        • 実験 のやり直し中
      • LogitNorm の挙動に関して
        • 疑問を解決したい / Inference 時には Normarize しないようにする？
        • これは関係なさそう
      • Mixup の劣化について
        • ベータ分布のハイパラに関して0.3, 0.5 だと 0.5 がダメそう
          • 0.1, 2 みたいなのを試してみる
          • CTR とかの設定 (二値分類・Negative 多め)みたいなデータ用の拡張 Mixup とか良さそうだな
        • Pos/Neg の ration が関連している可能性がある
        • 統計情報を調べる
    • 他の手法組む
      • IRM
      • LISA
• 9時まで McGill の図書館で作業した

夜

• 家に帰ってから、簡単にご飯食べた
• その後も三時まで作業したが進捗は微妙

実験関連

• OT Empirical Study (OfficeHome @Mila Cluster) / まだまだ時間かかりそう、Cedar に移行したいけど、時間かかるしなあ、、、Graham がさっさと終わるといいんだけど、、
  • ref
• OT Empirical Study (Visda-2017 @Graham Cluster) / あとは待つだけ
  • ref
• Mila
• WACV
  • 原稿の修正 -> 武内さんが進めてくれてありがたい
  • ImageNet の実験 (WIP)

TODO

• LinkedIn の Update
• PreDoc3 を書く
  • TIC の話が絡んでくる

Other

Huawei の研究所から Intern Offer きた

• ML / Huawei Technologies Canada Co., Ltd. Toronto, ON
• DL / Huawei Noah’s Ark Lab Iov Markham, ON / ref2
• Publication はすごい
  • Towards a Theoretical Framework of Out-of-Distribution Generalization 中国国内っぽい
  • Greedy and Random Quasi-Newton Methods with Faster Explicit Superlinear Convergence 中国国内っぽい
  • An Embedding Learning Framework for Numerical Features in CTR Prediction 中国国内っぽい
• カナダは　Edmonton, Tronto, Montreal に拠点がある
• 給料は、LinkedIn より低そう

明日やること

• TIC のも進める
  • plot どうにかする
  • ハイパラ最適化のやつとか
• Damping の 信頼領域法周りを Overleaf に足していく

Icebox

• TIC に関して
  • ICLR2022 の Review
  • TODO
    • TIC の話
      • タスク分解
      • 全部は解決できないので、とりあえず英文校正に出してしまう
      • やらなきゃいけないこと
      • plot の入れ替え
        • 入替に伴う修正
          • Exp の Setting の　Table
          • Small Scale の実験結果の説明

予算獲得

• PPL
  • 公募戦略考えた ref
  • 清書して応募
• 来年度の研究費に関して、
  • こんな感じで計画書書こうかなみたいなのを書いた ref
  • 清書して応募

実験系

• Cluster が遊んでるのがもったいない
  • TIC の評価
  • SWA とか SAM の評価
  • Critical BS

その他

• Damping の論文 for ICONIP (これは共著者の実験次第か)
• Calibration OOD のサーベイ / これはLinkedin のと並行してやる

PaperWorks

• UdeM 学生証
• 椅子の購入、そのための承認
• ネットの会社変更

ほぼ Pending

他人にに期待しない

• KFAC for GAN
• Calibration for DL w/ Tiago, Kilian, Ioannis (僕のリソースがない)
• BS vs Steps (僕のリソースがない)