Hiroki Naganuma

Notes

• 筋トレ、ランニング、マインドフルネス、英語を毎日ちゃんとやる
• 期待しているもの
• 直近スケジュール
• NeurIPS まで ６日

Schedule

• 午前中
  • 今朝は８時半くらいに起きた
  • RL x SWA の Meeting に一時間半くらい使った
    • 原稿をある程度書いて、 abstract / title 投稿した
    • A Preliminary Study of Explore-Exploit Tradeoff in Reinforcement Learning with Stochastic Weight Averaging の登録
• 午後
  • 友人の申請書へのフィードバックをした
  • GANs for NeurIPS (Conjugate Gradient Method for Generative Adversarial Networks)
    • GAN の実験
      • CIFAR10 ResNet Generator (残りの Run)
        • Cedar の Train が十分早いので、そこでSweep (CG_FR -> SGD) 実行 -> cgd_hz も実行した
        • Graham で　(Momentum -> Adam)を :Sweep まだいけそうなので、 CG_PRP も実行途中 -> CG_HS_DY も追加
        • Tokyo Tech Cluster で残りを実行してる
    • GAN の論文執筆
      • GAN の実験結果がかなりいいのが出たので、NeurIPS いけるのでは？って感じになってる
      • Mila の Paper Abst Swap に登録した
  • Effect of Distribution Shift on OOD and Uncertainty
    • Meeting と 登録
    • 疑問点の解消 (実験タスクと ECE の実装周りの話)
  • ICONIP の論文 Damping Scheduling: Faster Convergence of Natural Gradient Method の初稿完成と共著者への共有
    • Template に移して、これまで和文で書いてたやつを英訳して突っ込んだだけだけど、、
  • OOD 論文を今週末までに終えて、英文校正かける宣言をした
    • 以下の研究 TODO をさっさと済ませる

Other

研究 TODO

• OOD の Arxiv? ICML Camera Ready? NeurIPS? に向けて
  • 実験関連
    • WILDS (ERM, IRM x Amazon, Civil Comments)の実験結果が少ないので足す
    • Diminishing Return とかを plobit plot で見る
  • 文章修正（さっさと修正して、英文校正に出す）
    • Proofreading に出せるとこまで早く持っていく
    • plot の文章同じようなことばっかり書いてるところを直す
    • Main Claim をわかりやすく書く
    • Intro と Background の冗長性を省く
    • Dataset 章と Experiments 章の冗長性を省く
    • Model Selection 章を丁寧に書く
    • Relatedwork を読んで適切なとこに入れる
• Conjugate Gradient for Generative Adversarial
  • NeurIPS のフォーマットに移す ref
  • 他のモデルでのベースライン比較 (WIP)
  • 他のモデルでのグリッドサーチ
  • Paper Swap 結果の反映

NeurIPS 終わったらやりたい

• Damping for KFAC
  • 信頼領域法とLevenberg-Marquardt法に関してまとめる 参考文献
  • スライド作る
  • ICONIP のフォーマットに埋める
  • 人依存
    • 追加実験
    • 英文校正
• TIC for ICLR!?
  • Plot 関連整える (WIP)
  • 他の汎化指標でも評価する (WIP)
  • ICLR の Review を修正する
• Optimal Transport for DA
  • Journal 用に SCE と Mixup の関連について調査する
• Optimizers for Corruption
  • これは、ECML の原稿をちょっと修正して出せば良さそうだけど
  • 僕が筆頭でやることになったので、色々落ち着いたらばっとやる！

ほぼ DONE

6/24 まで手をつけない

• SAM for RL
  • 簡単な問題設定で実験
  • 骨子を描く
• Datashift OOD and Calibration
  • 実験設定や全体像を共有する
  • 原稿をかき始める
  • 簡単な問題設定で実験

ほぼ Pending

他人にに期待しない

• KFAC for GAN
  • Toy Model での実験
• Calibration for DL
  • 夏のインターンまで Pending
  • 何となくのテーマディスカッション
• BS vs Steps
  • Pending