Hiroki Naganuma

Schedule

直近の Schedule

[今月](https://hiroki11x.github.io/posts/diary/2023_09/) ``` - 直近の締め切り/予定 - 10/13 AISTATS x1 (SAM-Focal) - 11/? CVPR x2 (IRM Calibration / OOD Timm) - 1/? ICML x1 (F2 Metric? / TIC / SAM x Auto-Tuning) - 2/? KDD x1 (Calibration CTR) ```

今日の目標

AISTATS の原稿を Ioannis に共有できるように
- Intro をまとめる
- Overleaf を共有する

一日の流れ

朝からチェックアウト関連と、荷物的まとめ
- やはり、昼のフライトとかだと余裕が違う（9月10のSFO->YUL でも同じこと思った）
- 荷物預けるのに結構時間がかかった
CDG についた
- 空港での待ち時間に色々作業
  - ICCV でみた面白かった研究を関連する人たちに共有した
  - 幡谷さんに連絡
  - ２次最適化 for NeRF の著者に連絡
  - 免税手続き（書類スキャンするだけで簡単だった、書類自体の投函は不要と係員に聞いた）
- サーモン寿司食べた (13.5 €)
  - 普通にちゃんと美味しいし、甘口醤油とか選択できるのすごいな
機内 (CGD -> YUL / 7.5H)
- 離陸からしばらくは寝てた
- Misc
  - 日報書いたり
  - タスク整理
- 夕食？昼食を食べた
モントリオール帰ってきてから、ジャグジー行った

所感

今回のパリ出張非常に良かった
- 全然観光とかはできなかったけどすみやすそう
- ただ、ほとんど学会会場とホテルの往復だったのでちゃんと見れてないかも
- 食事は抜群に良かった
- 魚も美味しい
- 社会的な情勢とか、国の歳出歳入状況わかってないけど、永住したい候補の国の一つになったかも
- そのためにもフランス語やらないと
キャリア
- 今のところ、海外で博士やる選択は非常に良かったように思う
  - 結局、日本企業雇われだと、現地採用組に何も勝てないのにそこで働くことになる（日本の親会社所属だから的な立場は変わらない）
    - 日本の中で勝ち抜いてるのはすごいけど、それは日本の中での話
  - 最初から現地採用組と、東アジア出身が肩をならべて戦うには、博士レベルの学位や専門性を持つか、食や音楽芸術の分野で秀でるしかない
  - フランスはベイエリアと違って、競争率は低そうだし、子育てするにはいいのかもしれないと思った（ベイエリアが competitive すぎて子供が可哀想な感じもするし多様性も微妙かも）
- ただ、人生は残り50年くらいと仮定するとどう生きようかは考えものだなあ、、、
  - 強いチームを作る
    - 同世代のできる人たちと一緒に仕事する
      - Lyle, Charles, Adam, Ryan
      - 木村さん, 幡谷さん,
    - 後輩を育てる
      - ProPlace のメンバー
      - RLOpt のメンバー
      - MLHPC のメンバー
      - Mila の後輩
    - 良い師匠に指導を受ける
      - Industry: Chengming, Mingzhou, Zhang
      - Academia
        
        PI: Ioannis, 横田先生, 飯塚先生, 鈴木先生, 二反田先生, 佐藤先生
        
        Mentor: Kartik, Kilian, Reyhane
    - 財団メンバーともそのうち一緒に仕事できるといいな
  - 経済的な理由で選択肢が狭まらないように
    - Motivation: 日本以外で生活する上で、お金で解決できる問題は無限にある
      - 医療・健康
      - 教育
      - 治安の問題
    - 手段
      - 稼げるところから稼ぐ
      - アカデミアにいるだけだとお金にならないが、幸い AI 分野は、お金になりやすい
      - 企業研究所も兼任する（こっちの方がとっかかりやすい） -> 事業化（独立して会社をやる）
- 具体計画
  - 30 まで、まずは PhD を十分な業績で取りたい + いいポジションを欧米で取る
    - 達成条件
      - 年収 2000+万 + 自由に研究できるとこが理想
      - 年収に関して、米国に絞ってエンジニアよりの企業研究職なら、3000+ も複数ありそうだけど、自由に研究することメインだと難しいかも？
    - そのためには何が必要か？
      - 分野でホームランを打つ（引用数100+ の論文を出す）
      - 分野のワークショップ主催者 or Talk 側に回る
  - 35 まで、准教授ポジションを取る / 企業での Scholar になる (FAIR? Google? Amazon? Microsoft? LinkedIn?)
    - そのためには何が必要か？
      - Teaching 関連の経験も積む
      - PI としての業績を積む
      - 分野におけるトップスターになる
  - 40 まで、教授ポジションを取る
    - 今の Ioannis はこれくらいの年齢
    - そのためには何が必要か？
      - 業績とコネクション
  - 45 まで、研究を社会実装するような会社で上場させる (PFN 以上の会社を作る)
    - 今の横田先生はこれくらいの年齢な気がする
    - そのためには何が必要か？
      - お金になる領域で、自分の優位性がある領域にいいタイミングで飛び込む
  - 50 まで、
  - 60 以降
    - 無限に資産があるような状態になってたい
    - 人に投資して、その中の数人が成功すれば社会全体をいい方向に向かわせるようなお金の使い方をする（孫正義育英財団みたいなことしたい）
      - 優秀で活躍する人が日本で増えてくれないと、あらゆる問題が解決しない
        
        日本の中でしか生きれないレベルの優秀さの人間だけで、馴れ合うような今の社会構造だと日本だけ置いてかれる
      - ただ、短期的に、困窮してる子供とかの支援とかはしたいけど、これは数が無限になるので、仕組み的にそもそも支援受けられない孤児が発生しないような仕組みを作らなきゃいけない
        
        e.g. その子供が大学まで勉強するため＋生活のためにかかるコストがなくなるような枠組み
        
        あらゆる自動化で、教育・食事・建設・医療などが、どこかからの富の再分配じゃなくても可能にならないか？

TODO

Misc
- Ryan に連絡
CVPR / Timm OOD (w/ Ryuichiro, Ioannis)
- AlexNet とか古典的なモデル
- RegNet とかをアーキテクチャ対応させる
- Cluster も活用する
  - Rio
  - Mila
  - Canada Compute
- Ask
  - ImageNet-C や -P に関する結果も plot する
AISTATS / Curvature (w/ Lyle, Ioannis)
- Intro をさっさと書く
- 相関をさっさと計算する
Information Abstraction (w/ Ryosuke, Yoshikazu, Yuji)
- Ask
  - 国外の事例を日本に持ち込むような修正をする
  - 今のままだとアプリケーションが弱い
  - 研究費の申請を完了させる
NeRF (w/ Haruka, Ryuichiro)
- 熊谷さんを Discord Invite
- Ask
  - 研究費の申請を完了させる
  - Revisiting Second-Order Optimization for Accelerating NeRF Training
IRMv1 (w/ Kohtaro, Keigo) + (Hideaki? + Ryuichiro?)
- Ask
  - IRM と ERM、Mixup の潜在表現空間を見る
  - 潜在空間の、識別できてる程度を見る指標（汎化と相関があると良い）をサーベイする
  - 武田先生の論文を理解する (Multi-Level Optimization)
  - IRM の st 項で、 for all e に対して最適な classifier って現実に可能なのかを考える必要がある
- Project 候補
  - Is Exact Computation of Invariant Risk Minimization Perform Better than IRMv1?
    - IRM の近似なし計算をやってみる
    - 全ての学習環境で、最も良い classifier w が単一である必要？
      - これは、regression task では実現可能？
      - データセットの制約つければ y = ax + b の a, b のパラメータが共通して一緒の解に収束するようなことが可能？
      - そもそもこれが意味してるのは、どんな学習ドメインであっても特徴抽出器での変換後は、同じラベルのものは近い特徴量空間にいるということ
  - Efficient Approximation of Invariant Risk Minimization
    - Exact な計算は一回置いておいて、もう少しいい感じに近似できる方法を考える
Notion Research TODO

Reference

Deadline

年間スケジュール



```
10月上旬 DistShift 締め切り x1 (AT-SAM)
[ICCV WS, Paris, 12/1-5?]
10月中旬 AISTATS 締め切り x1 (SAM-Focal)
[ACM MM, Ottawa, 10/29-11/3]
11月中旬 CVPR 締め切り x1 (Timm OOD)
[NeurIPS, New Orleans, 12/1-5?]
1月下旬　ICML 締め切り (AT-SAM)
2月上旬  KDD 締め切り (LogitNorm)
```