Hiroki Naganuma

生活

• 朝からカフェに来て作業した
• 昼は家で食べて午後もカフェで作業した

研究

Tasks

絶対今日中に終わらせる

午前

• 溜まってる関連研究サーベイ
• 経費生産関連
• GAN に関して Overleaf を編集する下準備
  • Spectral Normarization 周り
  • GAN 全般 の導入まわり

午後

• OOD論文の直し、構成が間違ってるとこがあった、、、、厳しい、、、、これで落ちたらマジで最悪だな、、、見直しの時間がなかったからだ、、スケジュール管理の問題、というかリソースかなキャパオーバー
• GAN に関して Overleaf を編集する
  • Introduction
  • Background
  • Main
  • Experimental Results
  • Appendix (Setting)
  • Appendix (Hyperparam and Config)
• PreDoc2 の過去問解く
  • LSE の友人と勉強会する（今週中に連絡）
  • Optimization
  • MLE
  • MRF
  • RNN

できれば今日手をつけたい TODO

• ブースター接種 電話　(+1 877-644-4545)、予約したい会場確認を事前にしとく & 前回の接種の時の Code の控えも
• PreDoc2 に向けての勉強
  • 現代数理統計学
  • Deep Learning 本
• Representation Learning 勉強会をすすめる
• GAN for NeurIPS の実験タスク (Work in Progress)
  • Mila Cluster
    • CIFAR10 ConstLR
    • CIFAR10 InverseSqrtLR (Mila Cluster に余裕があったので追加に余裕があったので 10 x 4 set 追加)
    • MNIST ConstLR (新規: Mila Cluster に余裕があったので追加に余裕があったので 10 x 2 set 追加)
    • MNIST ExpLR
  • Cedar Cluster (なかなか進まないので乗り換え)
    • CIFAR10 ExpLR (Mila Cluster に余裕があったので追加に余裕があったので 10 x 1 set 追加)
• OOD Paper Arxiv に向けての修正
  • Computational Budget 増やした場合の 変化を見る plot
  • 全体的に英文おかしくないかを見る -> 変なとこ既に見つけた
  • Appendix の Experimental Settingを細かく修正
• Optimal Transport x Domain Adaptation の Killian との打ち合わせ

Icebox

事務処理

• 3/15 くらいに応募：計算資源利用関連
  • 阪大の SQUID 簡単に書いて飯塚先生に共有した
  • TSUBAME GC は4月までに申請書出して、5月中旬の実施を目指す
• カナダ国内のタックスリターン関連 -> 4/30 まで、早めに済ませたい (3月頭に UdeM のポスドクの先輩方とやってみることに)

研究

• Information Criteria の論文の NeurIPS に向けた修正
  • これは、英文構成にも投げるので、早めに仕上げなきゃいけない
  • 鈴木先生に相談できるような土台づくり
  • ICLR のレビューを全部修正する
  • 他の汎化指標との比較？ (Demogen 使う？、この辺り労力に対しての成果がさちってる感じがするので優先順位を検討)
• BS x Steps の研究プロジェクト Pending になってるやつどうにかする

その他

• Shun のブログを読んだ、PhD合格もすごいしおめでたいけど、TOEFL106まで上げてたとは、、すごいな、、、僕も頑張らねば
• ポスドクの先輩に、成仏しなかった研究に関して色々聞いた、ゆっくりマラソンすることが大事、、
• 人と比べない
• 染みた

• 凡才の集団は孤高の天才に勝る

こうした成功例では、関係者がその仕事や活動に没頭していること、誰しもが水平的な関係にあることが重要で、管理者による指示や命令があると損なわれてしまうこと、他分野の人たちとの意見交換、交流が大切なこと、そして、なにより当初の目標に固執せず、失敗することを恐れないのが観察されるという。ゴールを設定して、計画的に進めようとすることは、却ってイノベーションの芽をそぐのだ。

最も創造的な成果を出すときは、最も多くの作品を残しているときだという。いろいろと考える前にとにかくやってみる、ダメだったら理由を考えてやり直す、楽しいからどんどんチャレンジする、この繰り返しが大切なのだ。

しかし、どんな組織も程度の差はあれ、指示と命令を実行するヒエラルキーであるから、こうした創造的な活動とはなかなか相容れない。一方で、いろいろな人とチームを作ることが大切だとする

• タスク過多で精神的に色々きたので、少し整理
• 期待しているもの
  • 結果だけ待ってる
    • 奨学金 の結果 (3月かな)
    • ICML の結果 (3月かな)
  • ただ楽しみ
    • 米国での研究所のインターン (夏まで特に何もないし、もう選考は通ってるので何も新しいものはないけど、ただ楽しみなだけ)
    • 春になって自転車乗ったり、もっと気楽に外出したい
    • Room Mate 探し
    • Mila + 色々 の共同研究 (Scaling Laws)
  • 応募開始待ち
    • 奨学金　(国内, 4月頭 - 6月にかけて)
    • 阪大スパコン申請 (3月)
    • 東工大 TSUBAME Grand Challenge 申請 (3月末)
  • 自分律速
    • GAN x Conjugate の 論文を早く仕上げて Arxiv に出す
    • OOD の 論文を早く修正して Arxiv / NeurIPS に出す
    • Information Criteria の 論文を早く仕上げて Arxiv / NeurIPS に出す
    • Optimal Transport x Domain Adaptation の論文を CoLLAs に出す
  • 共著者律速
    • Damping の論文を JSAI -> ECML? のちの学会に出す
    • K-FAC の MinMax Optimization の話を MIRU -> ECML? のちの学会に出す
    • Corruption / Perturbation の話を Arxiv -> WACV(6月) に出す