Hiroki Naganuma

Schedule

直近の Schedule

#### 1月

- 1/27 TMLR Meeting w/ Ioannis
- 1/31 IJCNN (Goldcoast, AU) 締め切り
- 1/31 リバネス研究費申請
- 1/31 ZOZO の今月分の活動報告

一時帰国関連
- 1/26,27 YUL -> NRT
- 1/28 友人の結婚式
- 1/29,30 病院周り
- 2/1 NEDO TCP 最終審査
- 2/3 NRT -> YUL

- 2/3 ICLR Workshop for RS 締切 / F2 (w/ Kilian, Tiago, Ioannis) -> ICCV に先送りされそう
- 2/3 ICLR Workshop for DA 締切 / SAM for Calibration (w/ ZOZO 木村さん)
- 2/3 ICLR Workshop for DA 締切 / OOD and Calibration (w/ 立命館 多田くん)

- 2/7 Ioannis Group Meeting 発表
- 2/8 Bach 歯列矯正
- 2/10 アカデミー会

- 2/11 また日本に戻るか？？

- 2/17 UAI (Pittsburg, US)　締切
- 2/17 NeurIPS2022 発表 @ZOZO勉強会

- 2/23 AISTATS CameraReady を投稿
- 2/28 Cyberdyne 中間報告

- 3/1 TMLR Submission / TIC 
- 3/6 CoLLAs (Montreal, CA) 締切 / F2
- 3/8 ICCV (Paris, FR) 締切 / F2
- 3/10? ECML-PKDD 締切

食事

• 朝・昼
  • サラダ・生ハム
• 間食
• 夜

一日の流れ

• TODO / 1123 / Update
• 移動日
• 以下飛行機の中での作業ログ

飛行機乗ってからしばらくは、SAM-Calibration の実装見直したり修正したり実験投げたり（ネット繋がるギリギリまで）やった
その後、重田教育財団の月例報告と、Cyberdyne の月例報告書いた
色々ファイル整理してエモい気持ちになったりもした

この数年本当に頑張った、、、
2020年頃までの悪縁を断ち切れたのも良かった

リバネスの研究費申請書いた
(この申請書は ICLR Workshop での原稿に英訳すれば一部使える論理構造がある)
久しぶりに、Research Proposal 書いたので、頭使った
阪大のスパコン利用も通って欲しいな、、


Lost in Translation を途中まで見た、面白い
いつの映画なんだろう、日本のやばいとこが結構前から描かれてたんだなって感じ

今回の日本一週間滞在中にやること

1/27 Ioannis と meeting for TMLR
1/31 木村さんと meeting for ICLR workshop
2/1 NEDO TCP -> NEDO NEP へ 3000万獲得したい
2/3 SAM Calibration for ICLR Workshop w/ ZOZO 木村さん
2/3 OOD vs Calibration for ICLR Workshop w/ 多田くん

帰国したらやること
2/7 Ioannis Group Meeting で 発表 (NeurIPS ちょっとと木村さんとのワーク？)
2/7 Cyberdyne 進捗報告
2/17 ZOZO NeurIPS まとめ
2/23 AISTATS Camera Ready

基本的なデータ解析の teaching をして戦力を増やす


NEDO 終わったら、交通費精算関係を 一色さんにお願いする
1stround の年末のはまだ振り込まれてないので要確認
Mila からの NeurIPS もまだ振り込まれてない
AISTATS も旅程を組まないと

法人登記も、目処立てないと
節税対策も
日本滞在時の宿代もどうにかしたい


CAQ の申請と Study Permit をどうにかしないと
家のリースもどうにかしないと
日本に1ヶ月滞在どうするか
坂口さん北原さんと会えるくらいのタイミング？
今回の一週間滞在でイメージつける


UdeM 冬学期登録確認
→確認済み

T3 が空いたので ImageNet の実験投げなきゃ

飛行機ですること

• リバネス 研究費申請
• Cyberdyne 報告書
• 重田教育財団活動報告書
• JASSO 海外大学院給付奨学金報告書

思ったこと

しなきゃいけないこと

2/3

• ZOZO の Update
  • SAM がOODと Calibration 改善するかを実験する
  • ICLR Workshop 2/3 に向けて原稿作る
  • Calibraion に関する解析的なアプローチがありうるかを見る
  • SAM が Calibration, OOD にどう影響するか解析的な点で参考になりそうな文献を読む
    • Flatness -> Calibration / Rethinking Confidence Calibration for Failure Prediction
    • Flatness -> OOD / SWAD: Domain Generalization by Seeking Flat Minima
    • Margin が Metric になるかも？
      • High Local Entropy -> Flat Minima / Wide flat minima and optimal generalization in classifying high-dimensional Gaussian mixtures
      • Flat Minima -> Classification Margin -> Generalization / On Flat Minima, Large Margins and Generalizability
      • Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning
    • その他
      • Assessing Generalization of SGD via Disagreement
      • Escaping Saddle Points for Effective Generalization on Class-Imbalanced Data: アンバランスなデータセットでは鞍点に収束し、SAMはこれらの解から効果的に逃れる

2/7

• Cyberdyne 進捗出す
  • 2/7 まで、、、やばい

2/10

• 家の貸し出しに関して

2/17

• NeurIPS まとめをする
  • ZOZO 2/17
  • Mila Ioannis Group 2/8?
  • とかで使えるはず

2/23?

• AISTATS の Camera Ready と Arxiv の更新
  • Author Response 後の変更 (これは Review で指摘された点) -　Fig 2 のパラグラフと説明の移動 -　パラメータと [NK18] の引用、 -　細かい視覚的提案に従う
  • 構成の変更
    • Main にある CIFAR10 の実験を抜いて SNGAN w/ ResNet 系の実験に差し替える
    • Diminishing Return の結果を table と Figure で載せる
      • それに伴い、 Diminishing うまくいかないみたいな話を Main から抜く
      • DCGAN w/ SN の実験結果は、 Diminishing をstep decay じゃなくて exp decay みたいにすると、LR 小さくなりすぎて学習がうまくいかないことを Appendix で載せる
    • Step Decay でも良いことの正当性を足す
  • 体裁
    • 今の Overleaf のを Camera ready バージョンに変更する
      • github の url に差し替え
      • 公開する github の整理
    • Arxiv での公開 (update)
      • error 取り切らないと Arxiv にならないが、今の format だと難しいかもなので、元の Arxiv フォーマットの中身を入れ替える方法を取るかも

2/24

• NeurIPS に向けて
  • WIkitext-2
    • WIkiじゃなければ使えるのあるか？
    • Shuffle できないかをみる
    • Reading List
      • https://pytorch.org/docs/stable/generated/torch.nn.NLLLoss.html
      • https://pytorch.org/tutorials/beginner/text_sentiment_ngrams_tutorial.html
      • http://man.hubwiz.com/docset/torchtext.docset/Contents/Resources/Documents/experimental_datasets.html
      • https://github.com/urvashik/lm-context-analysis/blob/master/utils.py

3/3

• ICCV に向けてF2 のバグとり

TODO

• Thanh にメッセ返す

• NeurIPS2022 まとめをやる

• ZOZO の RA ref
  • 論文読み1　The Calibration Generalization Gap
  • 論文読み2　Towards an Empirically Guided Understanding of the Loss Landscape of Neural Networks - Research Collection
  • スライド
  • これらからどういうことができそうかをまとめる
• TIC の話
  • 野村さんに連絡
  • TMLR のフォーマットに 12 月中に落とす
  • その際に ICLR の Review をそこそこ反映する
  • その後共著者に許可をもらう

TODO Icebox

• 読み物
  • 国際会議で発表する
  • 主成分分析 / Nospare
  • 数理・データサイエンス教育強化拠点コンソーシアム
  • 無限次元勾配ランジュバン動力学による深層学習の最適化と汎化誤差解析
  • 機械学習における連続最適化の新しいトレンド
  • 因果推論の道具箱

Pending

• しばらく使わなそうなものは、ここにまとめた
• 編集リンク

Deadline

Spread Sheet

年間スケジュール

```
1月上旬 TMLR (OOD)
1月中旬 ICML 締め切り  (Loss Landscape Project, Hawaii, 7/23-29, 2023)
1月下旬 IJCNN 締め切り (SWA? Damping? Calibration?, Gold Coast, 6/18-23, 2023)
2月上旬 ICLR Workshop 締め切り
2月上旬 SigKDD 締め切り
2月中旬 UAI 締め切り
3月上旬 CoLLAs 締め切り
3月上旬 ECCV 締め切り
3月上旬 ICCV 締め切り (F2 Project, Paris, 10/2-6, 2023)
3月下旬 TMLR (TIC)
4月上旬 ECML/PKDD 締め切り
4月中旬 ICANN 締め切り
[AISTATS, Valencia, 4/25-27]
4月下旬 RecSys 締め切り
5月上旬 CIKM 締め切り
5月中旬 NeurIPS 締め切り
6-8月 インターン
6月中旬 ICONIP 締め切り
8月中旬 WACV 締め切り
9月下旬 ICLR 締め切り
10月中旬 AISTATS 締め切り
11月中旬 CVPR 締め切り
```