Hiroki Naganuma
はじめに
この記事は、2024年にMicrosoft Researchにインターンシップを行った際の体験談をまとめたものです。
著者紹介
長沼大樹と申します、インターン参加時は、カナダのモントリオール大学とMilaで博士課程の学生をしています。 指導教官は Ioannis Mitliagkas 准教授です (現在サバティカル中)。 学部修士は、東工大の情報理工学院で、横田理央研究室に所属していました。研究テーマは、深層学習における汎化と最適化です。詳細は、こちらをご覧ください。
参加までの流れ
2023年の秋から冬にかけて2024年夏のインターンに応募していました。Microsoft Research とはこれまで接点がなかったので、公募されている Position に応募しました。 levels.fyi 等を参考に、 Microsoft Research の他に複数の企業研究所に応募しました。幸運なことに、最終的には Microsoft Research の Research Intern (3ヶ月) のポジションとGoogle DeepMind の Student Researcher (6ヶ月) のポジションのオファーをいただきました。応募に際して、推薦状等ご協力いただけました皆様に感謝申し上げます。準備に関しては、こちらの記事を参考に2-3カ月かけて準備をしました。
どちらも、機械学習の分野では著名な研究者の集まる企業研究所であるため、どちらを選ぶか迷いましたが、Google DeepMind からは、2024年の秋以降での参加を許可いただけたため、2024年の夏は Microsoft Research でのインターンに参加することにしました。Microsoft Researchでの研究テーマは、まだ内容が公開されていないので詳しくは書けませんが、”Large Language Models Foundations” というテーマに応募し、Phi-3 のチームに所属することになりました。
2024年の2月から Visa の申請を開始し、4月下旬にカナダのアメリカ大使館でビザ面接を受け、無事にビザを取得することができました。Microsoft Research でのインターンシップの期間は、2024年の5月末から8月末までの3ヶ月間でした。
MSR の概要
Microsoft Research は、最近の機械学習の文脈では、Phi Model を始め、 LoRA や Task Arithmetic などが有名だと思います。機械学習だけでなく、Security や HCI、System など幅広い領域の研究が行われています。
Microsoft Research は、カナダのモントリオールにも研究所がありますが、私の研究興味とはテーマが異なったため、応募は Microsoft 本社のある Redmond (シアトル近郊の田舎の街) の研究所に所属することになりました。 Redmond の Microsoft Research は Building 99 という建物に Microsoft Research Redmond のほとんどのチームが所属しています。雰囲気としては、MIT の CS の Building に近い感じを受けました。MSR 内の 研究者は、大学での Faculty Position 経験者がかなり多いこともその要因かもしれません。
MSR と 日本
MSR でのインターン開始前に、Microsoft Research Internship アルムナイ Advent Calendar 2020を見つけて、これまでの日本からの参加者の体験談を読んで、イメージを掴もうとしていました。最近は、MSRA からの推薦枠や日本からの推薦枠のシステムがなくなっているようで、日本出身の参加者は2024年夏は私だけで、以前のような日本からの参加者内のつながりといった体験はできませんでした。昨年は コーネル大学でHCIの研究をされている Mose Sakashita さんが参加されていたようでした。 しかし、FTE の日本出身の方は Building 99 に複数人いらっしゃり、特に Microsoft Research Outreach の Research Program Manager の公野さんや、DeepSpeed の Researcher の田仲さん、Health Future チームのResearcher である 臼山さん、Applied Robotics Research チームの Researcher の和家さんには大変お世話になりました。LinkedIn Japan の 石坂さん、MSRA の鎌倉さんにご紹介いただきました。ありがとうございました。
研究と研究環境
定期的なマネージャー・メンターとのミーティングの他に、MSR 内部のセミナーなども定期的に行われていて、外部からの招待公演などもあり、大学のような雰囲気を感じました。昨今の LLM の盛り上がりや Reorg 等もあり、GPU を確保するのに少し苦戦しましたが、最終的には、GPU が確保でき、研究を進めることができました。研究の進捗に応じて、GPU の追加確保も可能で、研究に集中できる環境が整っていました。
7月には、MSR の Intern のそれぞれのプロジェクトを Poster 形式で発表するイベントがあり、自分の研究を発表する機会もありました。また、他の Intern の研究についても知ることができ、非常に有意義な時間でした。 5月末スタートにも関わらず、7月頭にはポスター提出が必要だったのでかなりタイトなタイムラインでした。おかげで、後半はいくつかの大規模な実験を行う必要はあったものの、Preliminary な結果は揃っていたので、(いつもの自分と比較すると) 余裕を持って進めることができました。 特にメンターからは、presentation を指導してもらえたことが自分の成長につながったと思います。figure や細かい言い回しなども、相手に伝えたり説得力を持たせるためには、自分がこれくらいでいいだろうと思ってるよりも、気をつけたほうがいいと学びました。 反省としては、見逃していた Literature や、夏の間に ICML で発表された研究などのとの類似性に途中で気づき、研究の方向性を微調整する必要がありました。また、提案手法の justicifation が理論的な結果と、性能のみを測ることに依存しており、なぜこの方法が良いかの説明が直感的ではなく、査読者を説得するための直感的な説明を行うための 追加の実験が必要であることに気づきました。これらに後半取り組みつつ論文と、チーム内での final talk としてインターンでの仕事を終えました。
大学との違いとして感じたのは、研究をどう企業の利益に繋げるかという視点が強いことです。研究の成果をどう会社にとって利益があるかという視点が強いため、研究の方向性を決める際には、その視点を持つことがより重要だと感じました。企業の研究所と一括りに行っても、新興企業の研究所と数十年の歴史のある企業の研究所ではライフステージ？が異なるため、社内で求められることも異なると感じました。
また、他のインターンとの交流も非常に有意義で、研究以外の面でも多くのことを学ぶことができました。同部屋のインターンの一人は、この夏だけでも、AISTATSx2, ICLRx1, ICMLx3 も筆頭で通しているにも関わらず、NeurIPS にも5本投稿していると言っていて、どうやってマネージしているんだろうと感心しました。彼はパートナーと土日はレーニアにハイキングに行ったりちゃんと週末も過ごしているようでしたが、どこで時間を捻出しているか最後まで謎でした。7月の NeurIPS の Rebuttal や Discussion Period では、僕は彼のような多くの論文を投稿しているわけではないのにもかかわらず、かなり精神的に追い詰められましたが、彼は機械的に淡々と進めているように見えました。これまでにも同世代で多くの優秀な研究者を見てきましたが、私生活と両立しているように見える人は少ないので、僕の中で一つのロールモデルになりました。
研究以外の話
Microsoft 関係
インターンは、インターン生向けの部屋として四人一部屋のような環境が与えられます。ホワイトボードや、一人2枚外部ディスプレイが提供されます。Laptop としては Windows マシンが提供されました。同じ部屋のメンバーは、同じ Phi-3 のチームの所属で、MIT, UT Austin, CMU の PhD の学生で、それぞれ、イラン、ベトナム、中国出身の博士学生でした。同部屋のメンバーは全員、結婚しており、配偶者をこの夏シアトルに帯同してもらっているなどの共通点もありました。
福利厚生として、 Microsoft がインターン参加者だけでなく、配偶者の航空券等も負担してくれるなど、とても充実していました。また、Housing に関しては、Corporate Housing と自分で手配して一定額の補助を受ける選択肢がありました。私は Corporate Housing を選択しましたが、Redmond 近郊のホテルのスイートルームが提供され、とても快適でした。朝食はホテルのレストランで無料で提供されましたが、ランチは自分で支払う必要がありました。Microsoft のキャンパス内には、食堂が複数あり、ランチは 10-15 ドル程度で食べられます。Local なレストランなどが複数入っていたため、食事の選択肢はかなり豊富でした。ただし、毎週木曜日は Pizza Day として、Building 99 で無料でピザが提供される日がありました。その他にも、定期的に Ice Cream Social などのイベントが開催され、他分野の研究者 Intern との交流ができました。
自身の Mentor や Manager とは ホームパーティに呼んでいただいたり、レーニアのハイキングに行ったりと、研究以外の面でも交流を深める機会を作っていただけたおかげで、家族ぐるみでの交流も楽しむことができました。公野さんには、日本人研究者を紹介いただき、休日も家族で近郊の観光に連れて行っていただくなど、大変お世話になりました。
よりアウトドア的なイベントとしては、MSR で 20年以上続く Annual Soccer Challenge があり、これは、Microsoft Research の研究者とインターン生がそれぞれチームを組んでサッカーをするというイベントでした。中学までサッカーをしていた私でもそれなりに活躍できるレベルで、今年は Intern チームの優勝で終わりました。
また、インターン向けのイベントとして、Sailing などのアウトドアイベントや、ワイナリー見学、マリナーズの野球観戦などもありました。いくつか重要なミーティングと Conflict があったため、参加できなかったイベントもありましたが、参加したイベントはとても楽しかったです。
Microsoft 関係以外
インターン期間は、12週間でしたが、14週間として、中の2週間は休みにすることも可能でした。私は、7月中旬にウィーンで行われた ICML に参加するため、その期間を休暇として取得しました。
休暇の期間に、近郊の観光地である、シアトル、バンクーバー、ワシントン州の国立公園などを訪れました。特に、バンクーバーは、アジア人が非常に多く、アジア食のレベルが非常に高く大満足でした。レドモンドやシアトルに比べ物価も安いので（日本よりは高いですが）、ついでに散髪や買い物をしてきました。土日の休みには、シアトルマラソンにも参加しました。
シアトル近郊の話
Redmond は、数十年前まで森だったこともあり、とても田舎で森を切り開き作られたような企業城下町だそうです。そのため、夜になると熊が出ることもあるそうで、気をつけるようホテルのフロントの方に言われました。 しかし、Redmond の Town Center はかなり発展していて、H Mart や DAISO まで徒歩5分でアクセスできるという北米では信じられないほど便利な場所でした。また、Redmond からシアトルまでバスで行くことも可能ですが、1時間くらいかかるため、週末は、30分くらいでアクセスできる Bellevue に行くことが多かったです。Bellevue はフランス語で、Beautiful View という意味で、その名の通り、景色や景観が非常によく、ショッピングモールなども充実していました。ジェフべゾスやビルゲイツなどの豪邸も近郊の Medina にあるそうで、シアトルとは Lake Washington を挟んで反対側に位置しています。特に、Uwajimaya という北米最古の日本食スーパーは、日本食材が豊富で、何度も通いました（日本の2-5倍くらいの値段がしますが）。
6月には（私は Reject されてしまいましたが）、CVPR がシアトルで開催されたこともあり、友人研究者たちに会うために何度かシアトルを訪れました。その他に、シアトルの日本人研究者コミュニティの BBQ や領事館でのイベントや講演会などもあり、CSに限らない日本人研究者との交流も楽しめました。また、University of Washington にいらっしゃる研究者や、AI2 の研究者とも交流ができ、研究のアイデアを共有することができました。Meta Reality Lab も Redmond にあり、勤めている研究者とも交流ができました。Amazon が Seattle に本社を置いていることや、Google が Kirkland にオフィスを持っていることもあり、Mircrosoft を含め 多くの IT 人材が集まるエリアであり、これらの人材プールもあって、活発な研究開発が行われていると感じました。
最後に
Microsoft Research でのインターンシップは、非常に充実したものでした。研究以外の面でも多くの経験を積むことができましたし、シアトル近郊の研究者・技術者コミュニティとの交流も楽しめました。Mentor の Philipp と Manager の Russell 、Outreach の公野さんには、様々な面で助けていただきました。最後に、サポートしていただいた皆様に感謝申し上げます。ありがとうございました。