Hiroki Naganuma

Schedule

直近の Schedule

[今月](https://hiroki11x.github.io/posts/diary/2023_03/) - 3/7 Meeting for TMLR Submission / OOD - 3/8 ICCV (Paris, FR) 締切 / F2 - 3/11 YouthS 発表 - 3/30 Cyberdyne 成果報告 - 3/31 ECML-PKDD 締切 - 3/31 TMLR Submission / TIC - 今月締切 - Submission (Research) - NeurIPS (F2 Metric) - TMLR (TIC) - ICRA WS (SWA RL) - Misc - IELTS - PPL 商談・法人化・特許・助成金

一日の流れ

• TODO / 0211 / Update
• 朝早く起きて、目黒のスタバで作業
• paperworks
  • 登記関連
    • 口座に色々まとめる
  • アカデミー会関連
    • 寄せ書き
    • HP 更新
  • 昨日の面接のお礼
    • スライド修正
  • J1 関連
• AWS Startup Loft
  • Paperworks
    • CAQ はうまく行ってそうでよかった、前の plateau の家に書類届くけど
    • 関連して IPSJ の書類を送付しないように手続きをした
    • 医療関係のブログ更新
    • 東京の作業スペース
    • 奥村くん引っ越しのための Times 予約
    • HP 修正
• 焼肉ランチ
  • 値段相応に美味しかった

• AWS Startup Loft

  • PodCast 確認
  • 論文サーベイ
  • 読み物
    • ゲオを科学的に変革できる？　東大院生24歳の挑戦
    • 「不完全燃焼の感覚」が勉強の強い動機づけになる。「たった1分」の勉強を1週間続けてわかった効果
      • 『オヴシアンキーナー効果』=「未完成で中断した作業を（中略）やりたくなってしまう効果」
  • PP
    • NLP2023 スライド修正
    • HP 修正
    • 資本金関連
  • GPT chat 課金した

  • 重田教育財団の、半年の報告書作って提出した

  • NLP for LLG
    • BS256 まではうまく行く
    • Loss が下がってるか？
      • うまく言ってるのもあれば、ないのもある (Transformer, GPT0 どっちかがダメとかではない)
      • LR の調整の問題な気がする
    • TODO
      • リファクタリング
      • Val Metric 入れる
      • Acc はないので perplexity 入れるか？逆数取るだけだし
      • WDに対応する
      • Charles の v3 をやる
• 作業終わり
  • 清水湯までランニング
  • 温泉に浸かる
  • ご飯食べて電車で帰る
• 家帰ってきてから作業
  • なんかやったけど何やったかあんまり覚えてない
  • NLP2023 のスライド修正続き
  • NLP for LLG

動かしておくべき実験

• LLG
  • Must
    • v2-ablation-batchsize-wd-1e-4 / 動かしてるけど遅そう
  • Optional
    • v2-ablation-batchsize-cifar-wd-1e-4
    • v2-ablation-seed-cifar-wd-1e-4
    • v2-ablation-opt-wd-1e-4
• SAM Calibration
  • BS1024 の実験 ref
    • A100 GPUx4 が　Minimum 必要かも
  • Rho の実験 / T3 の reserve 出来なかった実験
    • ref これを投げ直す 96H x 4GPU (Nvidia P100) が必要

やらなきゃ行けない実装

• F2 Metric
  • ICCV に向けてF2 のバグとり
• SAM Calibration
  • m-Sharpness はかる
• OOD
  • DomainBed とかで SAM の評価 (T3)
  • WILDS で SAM の評価

TODO

• Transformer まとめ読む
• ZOZO の RA ref
  • 論文読み1　The Calibration Generalization Gap
  • 論文読み2　Towards an Empirically Guided Understanding of the Loss Landscape of Neural Networks - Research Collection
  • スライド
• TIC の話
  • 野村さんに連絡
  • TMLR のフォーマットに 3 月中に落とす
  • その際に ICLR の Review をそこそこ反映する
  • その後共著者に許可をもらう

TODO Icebox

• 読み物
  • 国際会議で発表する
  • 主成分分析 / Nospare
  • 数理・データサイエンス教育強化拠点コンソーシアム
  • 無限次元勾配ランジュバン動力学による深層学習の最適化と汎化誤差解析
  • 機械学習における連続最適化の新しいトレンド
  • 因果推論の道具箱
  • リーマン多様体上の最適化―特異値分解の例を通して―
• NeurIPS に向けて
  • WIkitext-2
    • WIkiじゃなければ使えるのあるか？
    • Shuffle できないかをみる
    • Reading List
      • https://pytorch.org/docs/stable/generated/torch.nn.NLLLoss.html
      • https://pytorch.org/tutorials/beginner/text_sentiment_ngrams_tutorial.html
      • http://man.hubwiz.com/docset/torchtext.docset/Contents/Resources/Documents/experimental_datasets.html
      • https://github.com/urvashik/lm-context-analysis/blob/master/utils.py

Deadline

Spread Sheet

年間スケジュール

```
3月上旬 CoLLAs 締め切り
3月上旬 ECCV 締め切り
3月上旬 ICCV 締め切り (F2 Project, Paris, 10/2-6, 2023)
3月下旬 TMLR (TIC)
4月上旬 ECML/PKDD 締め切り
4月中旬 ICANN 締め切り
[AISTATS, Valencia, 4/25-27]
4月下旬 RecSys 締め切り
5月上旬 CIKM 締め切り
5月中旬 NeurIPS 締め切り
6-8月 インターン
6月中旬 ICONIP 締め切り
8月中旬 WACV 締め切り
9月下旬 ICLR 締め切り
10月中旬 AISTATS 締め切り
11月中旬 CVPR 締め切り
```