デンソー自動運転チップアルゴリズム面接体験記：モデル量子化・デプロイ最適化・エッジ推論の完全評価

背景紹介

私は学部で自動制御を専攻し、大学院ではコンピュータビジョンを専攻しました。卒業後、自動運転企業で2年間モデルデプロイエンジニアとして働き、主にモデル量子化、蒸留、エッジデプロイに携わり、デンソーのチップやNVIDIA Orinを使用していました。デンソーは自動運転チップ分野の絶対的なリーダーであり、アルゴリズムエンジニアの募集を見てすぐに応募しました。

正直なところ、応募前は迷いました。デンソーはアルゴリズム能力の要件が純粋なデプロイ職種よりはるかに高く、私の強みはむしろエンジニアリングの実装にあったからです。しかし、モデルデプロイとアルゴリズムは切り離せないものであり、量子化や推論最適化の実戦経験もあると考え、応募を決意しました。約10日後、HRから面接の連絡があり、技術面接3回とのことでした。

面接プロセスの振り返り

一次面接：深層学習基礎+量子化原理（約1時間）

一次面接は若手アルゴリズムエンジニアで、経験は浅そうですが鋭い質問をしました。自己紹介の後、すぐに始まりました。

深層学習基礎：

最初の質問で戸惑いました——「BatchNormの原理と、訓練時と推論時のBNの動作の違いについて説明してください」。これはまあまあ答えられました。訓練時はミニバッチの平均と分散を使用し、推論時はrunning meanとrunning varを使用します。面接官は「BNのrunning meanはどのように更新されるか？」と深掘りしました。

次に活性化関数——「ReLUとGELUの違いは？なぜTransformerはReLUではなくGELUを使うのか？」GELUはReLUの滑らかな変種で、ゼロ点付近で滑らかな遷移を持ち、勾配フローに有利であると説明しました。TransformerがGELUを使用するのは、特に大規模モデルで実験的に良い結果が得られるからです。

次にアテンションメカニズム——「Multi-Head Attentionの計算過程について説明してください。QKVはどのように得られるか？」線形射影でQKVを得て、scaled dot-product attentionを行い、最後にconcatと線形変換を行う過程を順に説明しました。

損失関数についても質問があり——「交差エントロピー損失とKLダイバージェンスの関係は？Focal Lossは何を解決するか？」

量子化原理：

最初の量子化の質問は「量子化の基本原理は何か？均一量子化と非均一量子化の違いは？」量子化は浮動小数点数を低ビット整数にマッピングすること、均一量子化は等間隔マッピング、非均一量子化は不等間隔マッピングが可能であると説明しました。面接官は「対称量子化と非対称量子化の違いとそれぞれの長所短所は？」と深掘りしました。

次にINT8量子化の具体的なプロセス——「PTQとQATの違いは？それぞれの適用シーンは？」PTQは再訓練が不要で高速だが精度損失の可能性があり、QATは訓練中に量子化をシミュレートし精度が良いがコストが高いと説明しました。

per-channelとper-tensor量子化の違い、およびper-channel量子化の方が良い理由についても質問がありました。

一次面接の終わりに、面接官は「基礎はまあまあ、量子化部分はよく答えていた」と言いました。

二次面接：モデルデプロイ+TensorRT（約1.5時間）

二次面接はシニアエンジニアで、質問はより実践的でした。

冒頭の実践的な質問——「最も複雑なモデルデプロイプロジェクトについて話してください」。BEV知覚モデルのデプロイを選び、PyTorchモデルのONNXエクスポートからTensorRTエンジンへの変換まで、様々なオペレータ互換性の問題に遭遇した過程を説明しました。

次にTensorRTの最適化——「TensorRTはどのような最適化を行うか？なぜ推論速度がこれほど速くなるのか？」レイヤー融合、精度キャリブレーション、カーネル自動選択、動的形状最適化を列挙しました。

動的形状についても質問があり——「TensorRTは動的形状をどのように処理するか？パフォーマンスへの影響は？」

モデル圧縮についても質問があり——「知識蒸留の原理は？どのような蒸留方法を使ったか？」

二次面接にはパフォーマンス最適化の質問もあり——「BPUでのモデル推論速度が要件を満たさない場合、どう分析し最適化するか？」まずプロファイリングツールでボトルネックを特定し——計算バウンドかメモリバウンドか——、その後针对性的に最適化すると説明しました。

二次面接の終わりに、面接官は「エンジニアリング経験は良いが、アルゴリズムの深さを強化する必要がある」と評価しました。

三次面接：エッジ推論+プロジェクト深掘り（約1.5時間）

三次面接は部門の技術リーダーで、システムレベルの思考に焦点が当てられました。

まず、ターゲットチップのアーキテクチャ特徴について詳細に説明するよう求められました。これは十分に準備していました。

次にエッジ推論の課題——「エッジ推論とクラウド推論の最大の違いは？エッジにはどのような特殊な制約があるか？」計算制限、メモリ制約、電力制約、リアルタイム性要件などの制約を説明しました。

マルチタスクモデルについても質問があり——「自動運転シナリオで、知覚、予測、計画のタスクを1つのチップで効率的に実行するには？」

最後にいくつかのオープンクエスチョン——「エッジ大規模モデルのトレンドについてどう思うか？」「自動運転チップの今後3年の発展方向は？」

三次面接後約5日でHRから合格の通知がありました。全体的に、デンソーの面接は実戦経験を非常に重視しており、純粋な理論的な質問は少なかったです。

出題問題まとめ

深層学習基礎：

1. BatchNormの原理と訓練・推論時の動作の違い

2. ReLU、GELU、SwiGLUの違い

3. Multi-Head Attentionの計算過程

4. なぜsqrt(d_k)で割るのか

5. 交差エントロピーとKLダイバージェンスの関係

6. Focal Lossの原理

量子化：

7. 均一量子化と非均一量子化の違い

8. 対称量子化と非対称量子化の長所短所

9. PTQとQATの違いと適用シーン

10. キャリブレーションデータの選択とキャリブレーション方法

11. per-channelとper-tensor量子化の違い

モデルデプロイ：

12. ONNXモデルエクスポートとオペレータ互換性の問題

13. TensorRTカスタムプラグイン開発

14. TensorRTの最適化戦略

15. レイヤー融合のルールと条件

16. 動的形状の処理方法

17. 知識蒸留の原理と方法

エッジ推論：

18. チップアーキテクチャの特徴とGPUとの違い

19. エッジ推論の特殊な制約

20. マルチタスクモデルのリソース割り当て

21. 精度と速度のトレードオフ戦略

心得とアドバイス

1. 量子化の知識は核心的な競争力。面接では量子化への要件が高く、概念を知っているだけでなく、具体的なキャリブレーションプロセス、精度評価方法、異なる量子化戦略の適用シーンを明確に説明できる必要があります。

2. デプロイ経験を詳細に説明できるようにする。面接官はデプロイ中の具体的な問題を深掘りします。これらの詳細は捏造できず、実際の経験が必要です。

3. ターゲットチップのアーキテクチャを理解する。面接では必ずチップ関連の知識が聞かれます。アーキテクチャについて全く知らないと大きく減点されます。

4. アルゴリズムの基礎を弱くしない。モデルデプロイの職種はエンジニアリング寄りですが、アルゴリズムの基礎も求められます。

5. 自動運転業界の動向に関心を持つ。面接官は業界関連の質問をします。自動運転の技術トレンドについて自分の理解を持つと評価が上がります。

FAQ

Q：アルゴリズム能力の要件は高いですか？

A：純粋なデプロイ職種より高いですが、ゼロからモデルを設計することは求められません。モデルの理解の深さとデプロイ最適化能力がより重視されます。

Q：自動運転の経験がなくても合格できますか？

A：モデルデプロイの経験があれば大丈夫です。自動運転の背景は必須ではありません。ただし、面接では自動運転シナリオの質問があるので、事前に学習することをお勧めします。

Q：その場でコードを書くよう求められますか？

A：はい。一次面接で量子化キャリブレーションの疑似コードを手書きし、二次面接でTensorRTプラグインの基本フレームワークを書かされました。

Q：労働強度はどうですか？

A：チップ業界の中では中上位レベルです。プロジェクトが切迫している時は残業がありますが、全体的なペースは管理可能です。

Q：給与水準はどうですか？

A：自動運転チップ業界でトップレベルです。ストックオプションを含めると、全体のパッケージは非常に競争力があります。