東京大学松尾研フレームワーク開発者面接体験記：オペレータ開発・自動微分・コンパイラ最適化の完全評価

背景紹介

まず私の状況から説明します。深層学習フレームワーク開発として2年の経験があります。以前はAIインフラ企業で推論エンジンの開発に携わり、主にC++でオペレータを書き、自動微分や計算グラフ最適化にも関わっていました。その後、東京大学松尾研究室のフレームワーク開発チームが採用しているのを見て、基盤フレームワークの構築に深く関わる機会だと感じ、履歴書を提出しました。松尾研は日本のAI研究で最も影響力のある研究室の一つであり、このようなチームで働くことは技術的成長に間違いなく大きく貢献するでしょう。

正直なところ、面接前はかなりプレッシャーを感じていました。フレームワーク開発はC++とシステムプログラミングに対する要求が非常に高く、コードベースも膨大で、面接官の基盤原理への追及は非常に深いからです。しかし幸いなことに、推論エンジンの実戦経験があり、オペレータ開発、計算グラフ、メモリ管理などの概念には馴染みがありました。以下、面接プロセスを詳しく振り返ります。

面接プロセスの振り返り

一次面接：C++ + オペレータ開発

一次面接の面接官はシニアのフレームワーク開発エンジニアでした。まずプロジェクト経験について話し、その後技術面接が始まりました。最初にC++の基礎について聞かれ、左値参照と右値参照の違い、およびムーブセマンティクスの原理を説明するよう求められました。左値参照は名前付き変数にバインドされ、右値参照は一時オブジェクトにバインドされ、ムーブセマンティクスはコピーではなくリソースの所有権を移転することでパフォーマンスを向上させると説明しました。面接官は完全転送について追及し、forwardの実装を書き、参照折り畳みのルールを説明するよう求めました。

次にスマートポインタについて聞かれ、shared_ptr、unique_ptr、weak_ptrを比較するよう求められました。shared_ptrは参照カウントで所有権を共有、unique_ptrは排他的所有権、weak_ptrは循環参照の解決に使用すると説明しました。面接官はshared_ptrのスレッド安全性について追及しました。参照カウントの増減はアトミックだが、指し示すオブジェクトへのアクセスはスレッドセーフではなく、追加のロックが必要だと答えました。

次に重要な部分が来ました：オペレータ開発。面接官はカスタムConv2Dオペレータを設計するよう求め、インターフェース定義から実装の詳細まで説明させました。im2col + GEMMのアプローチで順伝播のロジックを書き、im2colの原理（画像パッチを行列に展開し、行列乗算で畳み込みを計算）を説明しました。面接官はim2colの欠点について追及しました。メモリ使用量が大きい（展開後の行列を格納する必要がある）と答え、直接畳み込み（Winograd、FFT）の最適化アプローチについて説明しました。

次にGPUオペレータ開発について聞かれ、CUDAのスレッドモデル（grid、block、thread）とメモリモデル（global、shared、local、constant）を説明するよう求められました。面接官は簡単なCUDAカーネル、例えばベクトル加法を書くよう求めました。__global__関数を書き、スレッドインデックスの計算方法を説明しました。面接官はshared memoryの使用について追及し、shared memoryで行列乗算を最適化するよう求めました。タイリングのアプローチについて説明しました。

またオペレータパフォーマンス最適化の方法についても聞かれました。メモリ合体アクセス（coalesced access）、バンクコンフリクトの削減、warp-levelプリミティブの使用、計算と通信のオーバーラップなどを挙げました。一次面接は約65分で、C++とオペレータ開発について非常に深く掘り下げられました。

二次面接：自動微分 + 計算グラフ

二次面接はフレームワークコアチームのエンジニアで、自動微分と計算グラフの実装により注目していました。まず自動微分の原理について聞かれ、数値微分、記号微分、自動微分を比較するよう求められました。数値微分は精度が低く、記号微分は式が膨張し、自動微分は両者の長所を組み合わせていると説明しました。面接官は逆伝播モード自動微分の原理について詳しく説明するよう求めました。計算グラフを描き、順伝播でノード値を計算し、逆伝播で勾配を計算するプロセスを説明し、連鎖律の適用を強調しました。

次に計算グラフの構築について聞かれ、簡単な計算グラフデータ構造を設計するよう求められました。Nodeクラスを設計し、op（操作タイプ）、inputs（入力ノードリスト）、grad_fn（勾配関数）、requires_grad（勾配が必要かどうか）などの属性を含めました。面接官は動的グラフと静的グラフの違いについて追及しました。動的グラフは毎回の順伝播で新しい計算グラフを構築し（PyTorchスタイル）、デバッグは容易だが最適化の余地は小さい、静的グラフは先にコンパイルしてから実行し（TensorFlowスタイル）、大域的最適化が可能だがデバッグが困難だと説明しました。

次に勾配蓄積と勾配クリッピングの実装について聞かれました。勾配蓄積については、逆伝播時に勾配をゼロにせず、複数のミニバッチの勾配を蓄積してからパラメータを更新すると説明しました。勾配クリッピングについては、ノルムによるクリッピング（勾配ノルムが閾値を超えたらスケーリング）と値によるクリッピング（閾値を超える勾配値を直接切り捨て）を説明しました。

面接官はさらに計算グラフ最適化について聞き、一般的なグラフ最適化パスを列挙するよう求めました。定数畳み込み（コンパイル時に定数式を計算）、オペレータ融合（複数のオペレータを1つに統合し、メモリアクセスを削減）、共通部分式除去（同じ計算の中間結果を再利用）、デッドコード除去（出力に影響しない計算を削除）を挙げました。面接官はオペレータ融合の例について詳しく説明するよう求めました。Conv+BN+ReLUの融合について説明し、BNのパラメータはコンパイル時にConvの重みに融合でき、ReLUはConvの活性化関数として融合できると述べました。

また設計問題もありました：自動微分をサポートするTensorクラスをどう実装するか？Tensorクラスを設計し、data（データ）、grad（勾配）、grad_fn（勾配関数）、requires_gradなどの属性と、backward()メソッドによる逆伝播の実装を含めました。面接官は高階勾配のサポートについて追及しました。計算グラフに対して再度自動微分を適用し、勾配の計算グラフを構築する必要があると答えました。

二次面接は約70分で、技術的に最も高度な面接でした。面接官は自動微分と計算グラフの非常に深い理解を求めていました。

三次面接：コンパイラ最適化 + プロジェクト深掘り

三次面接は技術エキスパートで、総合的な評価でした。まずコンパイラ最適化の深層学習フレームワークへの応用について聞かれました。面接官はオペレータコンパイルのパイプラインを説明するよう求めました。高レベルオペレータから低レベルカーネルへのコンパイルプロセスを説明しました：オペレータ定義→型推論→レイアウト推論→カーネル選択→コード生成。面接官はサブグラフコンパイルについて追及し、計算グラフの一部のサブグラフを抽出し、効率的な融合カーネルにコンパイルすると説明しました。

次にPassの設計とスケジューリングについて聞かれ、Pass Managerを設計するよう求められました。Passの登録メカニズム、依存関係管理、実行順序スケジューリングについて説明しました。面接官はPassの分類について追及しました。フロントエンドPass（グラフレベル最適化、オペレータ融合や定数畳み込みなど）とバックエンドPass（命令レベル最適化、命令スケジューリングやレジスタ割り当てなど）を説明しました。

次にプロジェクト経験について深く掘り下げられ、履歴書に書いた推論エンジン最適化プロジェクトについて聞かれました。オペレータ融合、メモリ再利用、量子化による推論パフォーマンスの最適化について説明しました。面接官はメモリ再利用の具体的な実装について追及しました。計算グラフのライフタイムを分析し、同時に使用されない中間テンソルを見つけ、同じメモリを共有させると説明しました。

また分散学習の基礎知識についても聞かれ、データ並列とモデル並列の違いを説明するよう求められました。データ並列は各デバイスが完全なモデルのレプリカを持ち、異なるデータを処理する、モデル並列はモデルを複数のデバイスに分割し、各デバイスがモデルの一部を処理すると説明しました。面接官はAllReduceの原理について追及しました。Ring AllReduceのプロセスを説明しました：まずReduce-Scatter、次にAll-Gather。

最後にキャリアプランとフレームワーク開発方向への見解について話しました。三次面接は約60分でした。全体的に、面接官は皆本当のフレームワーク開発者であり、質問は非常にプロフェッショナルで、答えを暗記するだけでは通過できないものでした。

主要質問まとめ

1. 左値参照と右値参照の違い、ムーブセマンティクスの原理

2. forwardの実装を書き、参照折り畳みを説明

3. shared_ptr、unique_ptr、weak_ptrを比較、shared_ptrのスレッド安全性

4. カスタムConv2Dオペレータを設計、im2col + GEMMの実装

5. im2colの欠点と直接畳み込み最適化アプローチ

6. CUDAのスレッドモデルとメモリモデル

7. CUDAカーネルを書き、shared memoryで行列乗算を最適化

8. オペレータパフォーマンス最適化の方法

9. 数値微分、記号微分、自動微分を比較

10. 逆伝播モード自動微分の原理を説明

11. 計算グラフデータ構造を設計

12. 動的グラフと静的グラフの違い

13. 勾配蓄積と勾配クリッピングの実装

14. 一般的な計算グラフ最適化パス

15. Conv+BN+ReLUオペレータ融合の原理

16. 自動微分をサポートするTensorクラスを実装

17. オペレータコンパイルのパイプライン

18. Passの設計とスケジューリング、Passの分類

19. 推論エンジンのメモリ再利用実装

20. データ並列とモデル並列の違い、AllReduceの原理

心得とアドバイス

1. C++は基本。フレームワーク開発はC++に対する要求が非常に高く、構文だけでなく、メモリ管理、テンプレートメタプログラミング、マルチスレッドプログラミングも含まれます。面接前にC++11/14/17の新機能を体系的に復習することをお勧めします。

2. オペレータ開発には実戦経験が必要。理論だけでは不十分です。自分でCUDAカーネルを書き、GPUプログラミングモデルと最適化テクニックを理解している必要があります。面接ではコードを書くよう求められます。書いたことがないと不利になります。

3. 自動微分を深く理解する。これは深層学習フレームワークのコアです。順伝播と逆伝播の完全なプロセス、および計算グラフの構築と最適化を理解していなければなりません。

4. フレームワークの設計哲学に注目する。面接では動的グラフvs静的グラフ、eagerモードvsグラフモードについての見解が聞かれます。これは異なるフレームワークの設計について深く考える必要があります。

5. ソースコードを読むことが最良の準備。オープンソースフレームワークのソースコードを読み、コアモジュール（オペレータ登録、自動微分、計算グラフ最適化）を理解することをお勧めします。面接でソースコードを引用できると非常に説得力があります。

FAQ

Q：フレームワーク開発面接のC++の要求はどの程度高いですか？
A：非常に高いです。面接ではC++の基盤メカニズム（メモリモデル、テンプレート、マルチスレッド）について深く質問され、コードを書くよう求められます。少なくとも1年のC++プロジェクト経験と、C++11/14/17の新機能への習熟をお勧めします。

Q：CUDAを書く必要がありますか？
A：基本的に必須です。フレームワーク開発のオペレータの大部分はGPU実装が必要で、面接では直接CUDAカーネルを書くよう求められます。少なくともいくつかの一般的なカーネル（ベクトル演算、行列乗算、リダクション）を書いた経験をお勧めします。

Q：松尾研のフレームワーク開発と他のフレームワークの開発体験の違いは？
A：松尾研のプロジェクトは研究志向が強く、最先端の手法を迅速にプロトタイプ化する能力が重視されます。オペレータ登録メカニズムやディスパッチシステムは独自のものであり、適応が必要です。

Q：フレームワーク開発のキャリアの見通しはどうですか？
A：これは比較的ニッチだが非常に価値のある方向性です。フレームワーク開発エンジニアの需給比は非常に低く、報酬も非常に競争力があります。フレームワーク開発の経験はAIシステム全体の理解に非常に役立ち、その後AIインフラ、コンパイラ最適化などの方向に進むことができます。

Q：面接で論文について聞かれますか？
A：可能性があります。特にオペレータ最適化やコンパイラ最適化に関連する論文（TVM、XLA、TensorRTの設計論文など）について。しかし必須ではなく、エンジニアリング能力とシステム思考がより重視されます。