Hiroki Naganuma

Task ありすぎるのでさっさと、成仏させていきたい

TODO Immediately!

=================================
High Priority
=================================

PreDoc3

• Intro
• Background
  • 構成考える
  • それぞれ書く
• Futurework
  • 章立てを考える
  • 他のとこを描く
• Final Remark
  • 章立てを考える
  • 他のとこを描く
• Appendix

LinkedIn

• 頭使わなくてできる
  • Paperworks (これは経理の対応待ち)
    • 経費生産関連
    • 最終発表関連確認
• 頭を使う
  • LogitNorm の解析をする
    • Mixup の劣化について
      • CTR とかの設定 (二値分類・Negative 多め)みたいなデータ用の拡張 Mixup とか良さそうだな
      • Pos/Neg の ration が関連している可能性がある
      • 統計情報を調べる
  • 他の手法組む
    • IRM
    • LISA

Others

• TIC for AISTATS? (10/20)
  • ICLR の Review 全部改善する
  • 実験
    • 他の汎化指標全部試す実装を終わらせる
    • 実験投げる
  • 気になること
    • TIC は OOD の環境下で使えるんか？？
    • データサイズ小さい場合はどうなるんや？！
• TIC のも進める
  • plot どうにかする
  • ハイパラ最適化のやつとか

• Damping の 信頼領域法周りを Overleaf に足していく

• TIC に関して
  • ICLR2022 の Review
  • TODO
    • TIC の話
      • タスク分解
      • 全部は解決できないので、とりあえず英文校正に出してしまう
      • やらなきゃいけないこと
      • plot の入れ替え
        • 入替に伴う修正
          • Exp の Setting の　Table
          • Small Scale の実験結果の説明
• 他の論文関連
  • Damping Scheduling for WACV (8/29)
    • 信頼領域法との関連
    • LM 法との関連をまとめる
    • 英文校正にさっさとかける
    • ImageNet の実験を ABIC で投げる

---

---

---

---

---

=================================
思考停止系
=================================

Cluster を休ませない

• Tokyo Tech Cluster
  • GAN
    • ResNet CIFAR10 DONE
    • ResNet CelebA (要実装)
  • DomainBed 系の評価
    • RotatedMNIST on WideNN (要実装)
  • Damping 系の実装
    • ImageNet 1K ResNet50 で評価する
  • Caqlibration 系の評価
    • 無限に投げたい job はある
• Mila Cluster
  • OT
    • OfficeHome (長すぎる Job は Kill されてめんどいことに、、、)
  • GAN
    • DCGAN CelebA
    • Revised SNGAN CIFAR10 (要実装)
    • Revised SNGAN MNIST (要実装)
• TSUBAME
  • GAN の実験関連
• ABCI, Graham, Cedar はポイント制なので無駄遣いしない

---

---

---

---

---

LinkedIn

実装

• OOD 向け手法の調査と実装
  • IRM を DeepCTR に実装する
    • FB IRM
    • IRM for NLI
    • DomainBed
    • Minimal Implementation of IRM in PyTorch
  • fishr とか OOD 向けの学習法を試す github

実験 PLot

• 実験やってる感を出す plot の script 試す
  • BS 比較もするか？
  • RCT のドキュメントどうにかする (これが一番大事かも)
    • Paper Survey
      • Agreement-on-the-Line: Predicting the Performance of Neural Networks under Distribution Shift
      • Assessing Generalization of SGD via Disagreement
      • Deep Learning Is Singular, and That’s Good
      • Parameterized Temperature Scaling for Boosting the Expressive Power in Post-Hoc Uncertainty Calibration
      • Mix-n-Match: Ensemble and Compositional Methods for Uncertainty Calibration in Deep Learning
      • Post-hoc Uncertainty Calibration for Domain Drift Scenarios
      • Training calibration-based counterfactual explainers for deep learning models in medical image analysis
      • Field-aware Calibration: A Simple and Empirically Strong Method for Reliable Probabilistic Predictions
      • Towards Trustworthy Predictions from Deep Neural Networks with Fast Adversarial Calibration
      • Improving Uncertainty Calibration of Deep Neural Networks via Truth Discovery and Geometric Optimization

---

---

---

---

---

実験系

• Cluster が遊んでるのがもったいない
  • TIC の評価
  • SWA とか SAM の評価
  • Critical BS

その他

• Damping の論文 for ICONIP (これは共著者の実験次第か)
• Calibration OOD のサーベイ / これはLinkedin のと並行してやる

ほぼ Pending

他人にに期待しない

• KFAC for GAN
• Calibration for DL w/ Tiago, Kilian, Ioannis (僕のリソースがない)
• BS vs Steps (僕のリソースがない)

IcerBox

• GAN Future Work
  • Rebuttal に向けて
    • ExtraGradient とかを試す
• OOD x Optimizer Future Work
  • Rebuttal に向けて
    • DNN アーキテクチャ変えると、RotatedMNIST のランキング変わるか？
  • ICML2023 に向けて
    • AdamW, SWA, SAM とかで試すか？
• BS vs StepSize
  • 飯塚先生論文の各種指標を計算可能にする
• Paper Work 関係
  • 急ぎじゃないけど、Grand Challenge (8/30 まで)
  • PPL の各種申請
  • クレカ、AMEX 作るか？！
• 他の論文関連
  • K-FAC x GAN for WACV? (8/30)
    • FID 比較できる実験基盤を作る
    • Extra Gradient
    • Toy Problem での性能を見る