Hiroki Naganuma

TODO Immediately!

=================================
High Priority
=================================

• PreDoc3
  • 構成ざっくり練らないと
  • まずはなんか参考を見つける
  • これは今後の研究計画を考えることに一致する
• TIC for AISTATS? (10/20)
  • ICLR の Review 全部改善する
  • 実験
    • 他の汎化指標全部試す実装を終わらせる
    • 実験投げる
  • 英文校正に出す
  • 気になること
    • TIC は OOD の環境下で使えるんか？？
    • データサイズ小さい場合はどうなるんや？！
• 他の論文関連
  • Damping Scheduling for BMVC (7/29)
    • 信頼領域法との関連
    • LM 法との関連をまとめる
    • 英文校正にさっさとかける
    • ImageNet の実験を ABIC で投げる

---

---

---

---

---

=================================
思考停止系
=================================

Cluster を休ませない

• Tokyo Tech Cluster
  • GAN
    • ResNet CIFAR10 DONE
    • ResNet CelebA (要実装)
  • DomainBed 系の評価
    • RotatedMNIST on WideNN (要実装)
  • Damping 系の実装
    • ImageNet 1K ResNet50 で評価する
  • Caqlibration 系の評価
    • 無限に投げたい job はある
• Mila Cluster
  • OT
    • OfficeHome (長すぎる Job は Kill されてめんどいことに、、、)
  • GAN
    • DCGAN CelebA
    • Revised SNGAN CIFAR10 (要実装)
    • Revised SNGAN MNIST (要実装)
  • WILDS
    • ERM, IRM
• TSUBAME
  • DomainBed 系
    • PACS IRM とか評価少ないやつ (要実装かまずは確認)
  • GAN の実験関連
• ABCI, Graham, Cedar はポイント制なので無駄遣いしない

---

---

---

---

---

LinkedIn

実装

• OOD 向け手法の調査と実装
  • IRM を DeepCTR に実装する
    • FB IRM
    • IRM for NLI
    • DomainBed
    • Minimal Implementation of IRM in PyTorch
  • fishr とか OOD 向けの学習法を試す github

実験 PLot

• 実験やってる感を出す plot の script 試す
  • BS 比較もするか？
  • RCT のドキュメントどうにかする (これが一番大事かも)
    • Paper Survey
      • Agreement-on-the-Line: Predicting the Performance of Neural Networks under Distribution Shift
      • Assessing Generalization of SGD via Disagreement
      • Deep Learning Is Singular, and That’s Good
      • Parameterized Temperature Scaling for Boosting the Expressive Power in Post-Hoc Uncertainty Calibration
      • Mix-n-Match: Ensemble and Compositional Methods for Uncertainty Calibration in Deep Learning
      • Post-hoc Uncertainty Calibration for Domain Drift Scenarios
      • Training calibration-based counterfactual explainers for deep learning models in medical image analysis
      • Field-aware Calibration: A Simple and Empirically Strong Method for Reliable Probabilistic Predictions
      • Towards Trustworthy Predictions from Deep Neural Networks with Fast Adversarial Calibration
      • Improving Uncertainty Calibration of Deep Neural Networks via Truth Discovery and Geometric Optimization

---

---

---

---

---

IcerBox

• GAN Future Work
  • Rebuttal に向けて
    • ExtraGradient とかを試す
• OOD x Optimizer Future Work
  • Rebuttal に向けて
    • DNN アーキテクチャ変えると、RotatedMNIST のランキング変わるか？
  • ICML2023 に向けて
    • AdamW, SWA, SAM とかで試すか？
• BS vs StepSize
  • 飯塚先生論文の各種指標を計算可能にする
• Paper Work 関係
  • 急ぎじゃないけど、Grand Challenge (8/30 まで)
  • PPL の各種申請
  • クレカ、AMEX 作るか？！
• 他の論文関連
  • K-FAC x GAN for WACV? (8/30)
    • FID 比較できる実験基盤を作る
    • Extra Gradient
    • Toy Problem での性能を見る