Hiroki Naganuma

はじめに

この記事は、2024 年 9 月から半年間、Google DeepMind で Student Researcher を行った際の体験談をまとめたものです。

著者紹介

長沼大樹と申します、インターン参加時は、カナダのモントリオール大学と Mila で博士課程の学生をしています。指導教官は Ioannis Mitliagkas 准教授です (現在サバティカルでギリシャ・アテネのArchimedes 研究所に研究滞在中)。学部修士は、東工大の情報理工学院で、横田理央研究室に所属していました。研究テーマは、深層学習における汎化と最適化です。詳細は、私のウェブサイトをご覧ください。

参加までの流れ

2023 年の秋に、2024 年度の Student Researcher Role に応募し、2024 年の 1 月から screening interview 等を受け、3 月頃にオファーをいただきました。夏の間は、Microsoft Research でインターンを行うことを承諾していたこともあり(別記事に MSR のインターンについてはまとめております)、9 月中旬からの参加となりました。期間は６ヶ月で、受け入れホストの George Dahl 博士のいる、Mountain View での勤務になりました。Mountain View は、これまで LinkedIn の Machine Learning Research のインターンで三度ほど参加したこともあり土地勘はあったため、家探しなどはそんなに困りませんでした。

面接や選考プロセスは、明らかにしないことにサインしているため、詳細は記載しませんが、選考に際して以下のリンクに従って準備を行いました。

How I Prepared for DeepMind and Google AI Research Internship Interviews in 2019

指導教官の推薦と、参加の直前に Google DeepMind Montreal オフィスに研究滞在に来ていた Atish Agarwala には大変お世話になりました。特に指導教官の Ioannis Mitliagkas 准教授には、これが私の博士課程での 5 回目のインターンシップであるにもかかわらず送り出してくれたことに本当に感謝です。

GDM: Google DeepMind の概要

Google DeepMind は、2010 年に設立された、イギリスのロンドンに本拠地を置く AI 研究機関である DeepMind と、2012 年に Google が Mountain View を本拠地に設立した AI 研究機関である Google Brain が 2023 年に統合されたものです。インターン開始から２ヶ月の間に、2024 年のノーベル賞の発表があり、Google DeepMind からは、DeepMind co-founder の Demis Hassabis博士が、ノーベル化学賞を Alpha Fold の功績において受賞されました。ノーベル物理学賞では、Google Brain の元トップである Geoffrey Hinton 先生が、受賞されました。発表当日に、GDM のチームのいるオフィスに Hinton 教授が来られ、私のホストの George Dahl 博士も Hinton 教授の卒業生であることもあり、受賞パーティーが急遽オフィスで行われていました。

So, it turns out you don't get much time to throw together a Nobel Prize party, but we got people together to celebrate! 🎉

Here's me & Geoff before the party started, & a nice group photo of all of Geoff's former PhD students that were able to attend on short notice. pic.twitter.com/POvaGOd0Sx
— Jeff Dean (@JeffDean) October 9, 2024

GDM と日本

Google DeepMind は日本にも、ブランチがあり Heiga Zen さんが、ディレクターを務められております。日本の GDM は主に多言語モデルと音声認識のチームがメインのようです。 Heiga さんが出張で Mountain View に来られた機会と、私が Google Japan に年末に行った際にお会いする機会がありました。ランチを企画してくれたYu Ukaiさん、ありがとうございました。ランチの美味しさは、この半年で回った Google オフィスの中で東京がダントツでした。以下は主観評価です。 Tokyo🇯🇵 » Sunnyvale🇺🇸 > Kirkland (Seattle)🇺🇸 = Los Angels🇺🇸 = Montreal🇨🇦 > San Francisco🇺🇸 = Mountain View🇺🇸

ただ、これらのランチは従業員は無料なので、物価の高いベイエリアでは非常に助かりました。

Mountain View のオフィスは、多くのイベントが行われるため他のオフィスで普段勤務している研究者との交流もできました。多言語モデルのチームをリードしている Shane Gu さんにも、私のインターンの最終週に偶然 Mountain View のオフィスでお会いする機会がありました。 NY のオフィスにも、日本で高校から東大の博士課程までを修了され、現在は最適化とその理論周りの研究をされている Ran Tian 博士がいらっしゃり、2 月のイベントの際にはランチをご一緒させていただきました。週に一度メンタリングもしてくださり週に一回日本語を話す機会をくれました。また、東京オフィスで Student Researcher をされていた Hiroki Furutaさんとも何度か Mountain View でご飯を食べる機会がありました。

研究に関連する話

Probabilistic Machine Learning: An Introduction で有名な、Kevin P Murphy 教授や、MapReduce, DistBelief など数多くの業績をもつJeffrey Dean 博士などが、食堂にいることを日常的に目撃することは非常に刺激的でした。初日にホストの George 博士から、Jeffrey Dean 博士を紹介された時は驚きました。

また特筆すべきこととして、指導教官の George E. Dahl 博士に半年間指導をしていただけたことは、非常に光栄であり、刺激的な経験でした。 George E. Dahl 博士と言えば、彼の博士課程時の Microsoft Research でのインターンでの研究成果である Context-Dependent Pre-trained Deep Neural Networks for Large Vocabulary Speech Recognition では、AlexNet の 9 ヶ月前に、Deep Learning を使った音声認識における大幅な性能向上を示した研究であり、AlexNet ほどスポットライトは当たっていないものの深層学習のブレークスルーを示した研究者の一人です。その後も、音声認識の領域で、多くの業績を残しています。この 10 年近くは、深層学習の方法論の研究やベンチマークに関心があるようで、有名な論文(以下のリスト以外にも多くありますが私の関心分野を中心に抜粋)には以下のようなものがあります。

そのほかに、ML Commons の Algorithm Research グループの Chair を務めており、私のインターンの期間中にもAlgoPerf Workshopを主催していました。参加に関する記事はこちら。

このワークショップで、Frank Schneider, Michael Rabbat, Zack Nado, Aaron Defazio, Jeremy Cohen, Hao-Jun Michael Shi など、この領域で著名な研究者らとディナーを含めお話しできたのは貴重な機会でした。

最近では、この AlgoPerf の working group が主催するベンチマークのコンペの結果を含めた論文 Accelerating Neural Network Training: An Analysis of the AlgoPerf Competition が ICLR2025 に採択されています。

研究と研究環境

研究内容はまだ公開していないので、ここでは公にできませんが、最適化に関わる研究内容でした。Jax や Optax はほとんど触ってこなかったので、それに慣れるのに少し時間を要しました。それよりも Google 内部エンジニアリングエコシステムに慣れるのに時間がかかりました。一度慣れると効率的ない作業が進むのですがオーバーヘッドはそれなりにありました。

計算資源の点では、普段所属している大学とは比べ物にならない程の環境でした。普段の大学の研究では、job を溜め込むリストのようなものを作っていて、比較的クラスタが空いた時にまとめて投下し、普段は少量の job のみ投げるような運用をしていましたが、Google ではそのような心配が要りませんでした。リソースの割り当てもかなり最適化されてるように感じました。また指導してくれていた George 博士からも長時間の job を小さいチップで行うよりも、大きな割り当てをした計算機で短時間で job が終了するような実験設計を進められました。これは大きな計算資源を持つ研究者が行える特権的な手法だと思いますが、これが非常に PDCA のサイクルを加速させました。

また、George E. Dahl 博士は、大学にいれば多くの助教やポスドクをマネジメントするようなシニアな研究者ですが、私のプロジェクトでは実際に彼が私の全てのコードをレビューしてくれ、PR なども出してくれました。大学で少人数で行う研究や、実験の担当が一人しかいないような研究は、読みづらかったり、正しいかの検証が主観的になるような研究が多い中、George 博士の方法論の研究に関する視点は鋭いものがありました。行うべき研究や検証の大枠にどのようなモジュールが必要か、どのモジュールは初期に固定し、どのモジュールを後半に変更・亜種を加えて比較対象とするかなどを明確にし、それぞれが直交するような設計を促してくれました。

メンターのPriya KasimbegとSourabh Medapatiは、エンジニアリング面で多くの課題解決を手伝ってくれました。特に Jax や Google のエンジニアリングのエコシステムに慣れるために定期的に時間を作って助けてくれました。

最初の数ヶ月はこのモジュールの開発とコードベースの構築に大半の時間を割き、Preliminary な実験を行い方向修正をしていくような進め方でした。その上で、どのような論文の artifact (figure や table) が必要かを定め、それを reproduce するためのレシピを全て再現可能にしてドキュメントと整理されたコードベースに落とし込んでいくような研究の進め方でした。論文の設計や、Research Question の洗練と整理・理論的な補強は、Atish Agarwalaが多大な貢献をしてくれました。

最終的に、ほとんどの論文の載せるような実験結果は、インターン期間 24 週間あった期間のうち、最後の 1 週間に行った実験だったと思います。最後の最後でこのようにまとめて実験を行えたのもそれまでにしてきた準備があったからだと思います。

計算資源の違いなどから一部は大学にそのまま当てはめられない点もありますが、これらの学んだ方法論や研究の進め方は今後の自分のプロジェクトにも取り組んでいきたいなと思いました。

GDM での研究以外の話

６ヶ月の間、前半は ICLR や AISTATS やその査読に忙殺され、あまり土日も外に出かけることは叶いませんでした。MSR とのインターンの間の休みが二週間もなかったのも少し前半しんどかったように思います。これは J-1 Visa を一つにまとめるためには中休み期間に制限があるためです。 J-1 Visa を二つに分けることもできましたが、手続きが増えるのと、一度一つ目のインターンを終了してからの申請し直しになるため、間の期間を 3 ヶ月程度空けなければならない可能性が出る等を考慮してこの選択肢を取りませんでした。

Thanks giving や年末年始の休み付近では、少し余裕もできたので、友人に誘われて Archery に行ったり、年末は Los Angels にミュージカルを見るために旅行に行ったりしました。

チームのメンバーとの交流としては、Thanks giving には、同じプロジェクトでメンターをしてくれている Atish Agarwala 博士の家のパーティーに呼んでいただけたり、ハロウィンのパーティーにも呼んでいただきました（私は以下の画像の仮装をしました）。

12 月の上旬には、バンクーバーで行われた NeurIPS に参加しました。MSR のインターンの同期と再開したり、ワークショップでの発表 x2 を行いました (ひとつは ICLR2025 にのちに採択されました。)。

最後に

Google DeepMind での 6 ヶ月の Student Researcher の経験は、非常に充実したものでした。研究以外の面でも多くの経験を積むことができましたし、チームのメンバーと深く交流することができました。Mentor の Priya Kasimbeg, Atish Agarwala と Manager の George E. Dahl、チームメンバーの Sourabh Medapati と Shankar Krishnan には様々な面で助けていただきました。Ran Tianさんにも毎週のメンタリングをしていただきありがとうございました。最後に、サポートしていただいた皆様に感謝申し上げます。ありがとうございました。