Hiroki Naganuma

はじめに

この記事は、2025 年に Meta で Research Intern を行った際の体験談をまとめたものです。

著者紹介

長沼大樹と申します、インターン参加時は、カナダのモントリオール大学と Mila で博士課程の学生をしています。学部修士は、東工大の情報理工学院で、横田理央研究室に所属していました。研究テーマは、深層学習における汎化と最適化です。詳細は、こちらをご覧ください。過去のインターンの参加記として、Google DeepMind / 2024-2025 と Microsoft Research / 2024 についてもまとめています。興味ある方はご覧ください。

参加までの流れ

2024 年 11 月に、申し込み、12 月に幾つかのインタビューがあり、1 月中旬にオファーをいただきました。その後、O-1 visa の申請を進められ、推薦状集めや、書類の準備を行いました。ご協力いただけました皆様ありがとうございました。 O-1 の申請に関する情報はこちらにまとめています。この書類の準備から承認までは、私のケースは差し戻し等もなく、最短だったと思いますが、それでも4ヶ月かかりました。ただし、カナダ国内の米国大使館・領事館での面接はその当時、100+ 日待ちで、東京でも 25+ 日待ちとなっており、モントリオールから大阪の米国領事館 (2日待ち) まで面接に行きました。ただし、このビザ面接後の二週間パスポートが手元にない状態になるので (J-1 でも O-1 でも同じ)、渡航できず、いくつかの予定を見送ることになりました。インターンに O-1 visa を出してくれるのは、私の周りで聞いたことがなかったので、参考情報がなく不安でしたが、結果承認されてよかったです。

Metaの概要

私のインターンしたチームは、AI and System Co-Design というチームで (のちに Reorg され MSL の一部になりました)、 HPC, System, ML の intersection において、アルゴリズムや手法をどのように効率的にできるかを横断的に取り組むチームで、メンバーのほとんどが PhD holder であるように感じました。このチームの上司である Michael Shi 博士は、昨年の MLCommon Algoperf の External Tuning Track において Distributed Shampoo で優勝したことで有名です。ちなみにこの、MLCommon Algoperf は、昨冬までインターンをしていた Google DeepMind での上司である、George Dahl 博士が主催していることもあり、 2月の AlgoPerf Workshop では、直接 Meta でのメンターやチームと顔を合わせることになりました。

PyTorch Distributed Shampoo Winning the MLCommon Training Algorithms Competition

もう一人の上司である、Parameswaran Raman 博士は私と近しい経歴で、 LinkedIn->MSR->Meta というキャリアを持っており、大規模なシステムと最適化に焦点を当てていたことや、私の研究関心にマッチしており、彼らのもとで研究開発できることは非常にありがたい機会でした。

また、これまで参加した、インターンが Pure な研究チームだったので、プロダクトと接点を持つメンバーが大勢いる環境は新鮮でした。後半では、チームの Reorg に伴い、Meta Superintelligence Labs の Infra team になりました。

Meta Superintelligence Labsは、インターン期間中に発足したばかりの新しい研究所で、その高額な報酬でも話題になりました。詳しくはこちら。

研究と研究環境

これは所属チームや上司によると思いますが、Meta は “Move fast and break things” という文化が根付いているように感じました。そのため、アイデアを迅速に試すことが奨励されており、これまでのインターン経験の中で最もスピードが速く感じました。成果主義な感じな印象をとても受けました、米国で一旗上げたいといったエネルギー溢れる日本の若いみなさんにとてもお勧めできる環境でした。

研究においては一長一短あると思いましたが、メンターの二人が私のプロジェクトに関しては、より理論的な側面もフォーカスしてやってみようと背中を押してくれたのは心強かったです。結果的に良さそうな研究成果が出せたので、良かったと思います。前半は、literature review と理論的な解析にインターンの期間の半分近く使ってしまい、実装・実験系を残りの期間で行うことになりました。特に前半目に見える成果が少なかったのが、自分の中で周りと比べて大きなプレッシャーになりました。他にも、社食は3食無料ですが、忙しすぎる人のために立ち食いできる fast track が使われているのは最初カルチャーショックでした。会社までのシャトルも、Google や Microsoft では見たことない、ディスプレイ付きのデスクがシャトル内に用意されていました。初日はすごい！と素直に思っていましたが、後半になってこれは会社のカルチャーなのだと理解できました。

下記の Youtube の動画が、Meta の研究文化をよく表していると思います。 Taijin の Silicon Valley 大学 / GAFA-style, ultra-fast work culture (Move Fast)! All the interesting stories from my two years at…

細かい研究内容はまだ公開前なので紹介できませんが、大規模なLLM の学習に関する効率化や既存の問題をどのように乗り越えるかといった課題に取り組みました。インターンの前半で、literature review, code base や計算機エコシステムのセットアップ、理論的な枠組みの構築やその証明などに取り組みました。後半で、それらの実装とテスト、またよりよく改善するための実装と実験を繰り返しました。ここ数年取り組んでいないテーマだったので一から全てを3ヶ月でこなすことはかなり時間的にタイトでした。さすがに博士課程5年目に差し掛かったこともあり、複数のテーマやフィールドでの議論が繋がり、理論的には綺麗な結果になったと思いますし、それらを大規模な実験でも妥当性を示せて非常に良かったです。また、FSDP2、DTensor などLLM の学習を支える分散学習基盤に関して Pytorch Distributed のチームとモダンな LLM の学習基盤の課題に取り組めたことも実務的な成長につながりました。

研究以外の話

ベイエリアでのインターンは、5回目で、生活には慣れてきたと思いますが、今回は、Meta の用意してくれた Sunnyvale の Corporate Housing に滞在しました。調べると家賃が、日本円で 60-70 万円程度 (1ドル150円換算) で、benefint 等の面では、かなり恵まれていました。滞在先のコンドミニアムの設備も充実しており、ジムやプール、共用スペースが整っていました。これらの benefit はいわゆる GAFAM の中では一番手厚いと思いました (AmazonとApple は経験していないですが知り合いの話)。しかしながら、忙しすぎてついにはジムに行くことがほとんどありませんでした。

イベント的なものは、PhD に限ったものはひとつか二つしかなかったと思いますが、そのうち一つは　Computer History Museum で行われたパーティーで、他の領域の PhD の学生と関われる機会として面白かったです。 PhD に限らないイベントは、学部や修士の若いインターンと関わる機会になるのですが、なかなか気乗りせず＆忙しくて行けませんでした（参加者内訳を見ても PhD の学生はほとんど参加していない印象でした）。

週末には、UC Berkeley に友人に会いに行きキャンパスツアーをしてもらいました。 7年ぶりの訪問でしたが、オッペンハイマーでの撮影場所なども含め案内してもらい非常に勉強になりました。他にも SF で働いている友人や、サウスベイで働く友人らとの BBQ など、忙しいながらも充実したイベントに参加できました。 Google DeepMind でのメンターや、LinkedIn 時代の友人、MSR での先輩など会いたい人が集まっており、彼らに会えたのは、シリコンバレーならではの経験でした。

最後に

博士課程中に、西海岸の企業研究所で複数のインターンを経験できたことは非常に大きな糧となりました。インターン中、特にメンターのMichael Shi 博士、Parameswaran Raman 博士には大変お世話になりました。チームのメンバーにもあらゆる面で支えていただきました。さらに、同じチームでほぼ毎食のランチとディナーを共にした、インターンの Runa Eschenhagen のおかげで、楽しいインターンを過ごすことができました。みなさん、ありがとうございました！特に大学での指導教官である Ioannis Mitliagkas 准教授には、推薦状を含めあらゆる面でサポートいただきました。本当に感謝です。

最後までお読みいただきありがとうございました。博士号取得 (2026年春見込み) 後の就職先としてアカデミア・インダストリに関係なく研究ポジションを検討しています。興味をもっていただいた方はご連絡いただけると幸いです詳細はこちら。