百度飛槳深度學習框架開發面試經歷：算子開發+自動微分+編譯優化全考察

背景介紹

先說下我的情況，2年深度學習框架開發經驗，之前在一家AI基礎設施公司做推理引擎的開發，主要用C++寫算子，也涉及過自動微分和計算圖優化。後來看到百度飛槳團隊在招框架開發工程師，覺得這是一個能深入參與底層框架建設的機會，就投了簡歷。飛槳是國內最成熟的深度學習框架之一，能在這樣的團隊工作，對技術成長肯定幫助很大。

說實話面試之前我壓力挺大的，因為框架開發對C++和系統編程的要求非常高，而且飛槳的代碼量很大，面試官對底層原理的追問非常深入。但好在我在推理引擎方面有一些實戰經驗，對算子開發、計算圖、內存管理這些概念不陌生。下面詳細複盤一下面試過程。

面試流程複盤

一面：C++ + 算子開發

一面是個資深的框架開發工程師，上來先聊了項目經驗，然後開始技術面試。先問了C++基礎，讓我解釋左值引用和右值引用的區別，以及move語義的原理。我說了左值引用綁定到有名字的變量，右值引用綁定到臨時對象，move語義通過轉移資源所有權而非拷貝來提高性能。面試官追問了完美轉發，讓我寫一個forward的實現，解釋引用摺疊的規則。

然後問了智能指針，讓我對比shared_ptr、unique_ptr、weak_ptr。我說了shared_ptr引用計數共享所有權、unique_ptr獨佔所有權、weak_ptr解決循環引用。面試官追問了shared_ptr的線程安全性，我說引用計數的增減是原子的，但指向對象的訪問不是線程安全的，需要額外加鎖。

接著重點來了，算子開發。面試官讓我設計一個自定義Conv2D算子，從接口定義到實現細節。我寫了前向傳播的邏輯：im2col + GEMM的方式，講了im2col的原理（將圖像塊展開成矩陣，然後用矩陣乘法計算卷積）。面試官追問了im2col的缺點，我說內存佔用大（需要存儲展開後的矩陣），然後講了直接卷積（Winograd、FFT）的優化思路。

然後問了GPU算子開發，讓我解釋CUDA的線程模型（grid、block、thread）和內存模型（global、shared、local、constant）。面試官讓我寫一個簡單的CUDA kernel，比如向量加法。我寫了__global__函數，講了線程索引的計算方式。面試官追問了shared memory的使用，讓我用shared memory優化矩陣乘法，我講了tiling的思路。

還問了算子性能優化的方法，我說了內存合併訪問（coalesced access）、減少bank conflict、使用warp-level primitives、計算和通信重疊等。一面大概65分鐘，C++和算子開發問得很深。

二面：自動微分 + 計算圖

二面是框架核心團隊的工程師，更關注自動微分和計算圖的實現。先問了自動微分的原理，讓我對比數值微分、符號微分和自動微分。我說了數值微分精度低、符號微分表達式膨脹、自動微分結合了兩者的優點。面試官讓我詳細解釋反向模式自動微分的原理，我畫了計算圖，講了前向傳播計算節點值、反向傳播計算梯度的過程，強調了鏈式法則的應用。

然後問了計算圖的構建，讓我設計一個簡單的計算圖數據結構。我設計了一個Node類，包含op（操作類型）、inputs（輸入節點列表）、grad_fn（梯度函數）、requires_grad（是否需要梯度）等屬性。面試官追問了動態圖和靜態圖的區別，我說動態圖每次前向傳播都構建新的計算圖（PyTorch風格），調試方便但優化空間小；靜態圖先編譯再執行（飛槳/TF風格），可以做全局優化但調試困難。

接著問了梯度累積和梯度裁剪的實現。梯度累積我說了在反向傳播時不清零梯度，而是累加多次mini-batch的梯度再更新參數。梯度裁剪我說了按範數裁剪（如果梯度範數超過閾值就縮放）和按值裁剪（直接截斷超過閾值的梯度值）。

面試官還問了計算圖優化，讓我列舉常見的圖優化pass。我說了常量摺疊（編譯時計算常量表達式）、算子融合（將多個算子合併成一個，減少內存訪問）、公共子表達式消除（復用相同計算的中間結果）、死代碼消除（刪除不影響輸出的計算）。面試官讓我詳細講了算子融合的例子，我說了Conv+BN+ReLU的融合，BN的參數可以在編譯時融合到Conv的權重中，ReLU可以融合成Conv的激活函數。

還問了一個設計題：如何實現一個支持自動微分的Tensor類？我設計了Tensor類包含data（數據）、grad（梯度）、grad_fn（梯度函數）、requires_grad等屬性，以及backward()方法實現反向傳播。面試官追問了高階梯度的支持，我說需要對計算圖再做一次自動微分，構建梯度的計算圖。

二面大概70分鐘，這一面是技術含量最高的，面試官對自動微分和計算圖的理解要求非常深入。

三面：編譯優化 + 項目深挖

三面是技術專家，綜合考察。先問了編譯器優化在深度學習框架中的應用。面試官讓我解釋算子編譯的流程，我說了從高層算子到底層kernel的編譯過程：算子定義→類型推斷→佈局推斷→kernel選擇→代碼生成。面試官追問了子圖編譯（Subgraph Compilation），我說了將計算圖中的一部分子圖提取出來，編譯成高效的融合kernel。

然後問了Pass的設計和調度，讓我設計一個Pass Manager。我說了Pass的註冊機制、依賴關係管理、執行順序調度。面試官追問了Pass的分類，我說了前端Pass（圖級別優化，如算子融合、常量摺疊）、後端Pass（指令級別優化，如指令調度、寄存器分配）。

接著深入挖了我的項目經驗，問了一個我簡歷上寫的推理引擎優化項目。我講了如何通過算子融合、內存復用、量化等方式優化推理性能。面試官追問了內存復用的具體實現，我說了通過分析計算圖的生命週期，找出不會同時使用的中間張量，讓它們共享同一塊內存。

還問了分佈式訓練的基礎知識，讓我解釋數據並行和模型並行的區別。我說了數據並行是每個設備有完整的模型副本，不同設備處理不同的數據；模型並行是將模型切分到多個設備上，每個設備處理模型的一部分。面試官追問了AllReduce的原理，我講了Ring AllReduce的流程：先做Reduce-Scatter，再做All-Gather。

最後聊了職業規劃和對框架開發方向的看法，三面大概60分鐘。整體感覺面試官都是真正做框架的人，問題非常專業，不會有那種背答案就能過的感覺。

真題彙總

1. 左值引用和右值引用的區別，move語義的原理

2. 寫一個forward的實現，解釋引用摺疊

3. 對比shared_ptr、unique_ptr、weak_ptr，shared_ptr的線程安全性

4. 設計一個自定義Conv2D算子，im2col + GEMM的實現

5. im2col的缺點和直接卷積優化思路

6. CUDA的線程模型和內存模型

7. 寫一個CUDA kernel，用shared memory優化矩陣乘法

8. 算子性能優化的方法

9. 對比數值微分、符號微分和自動微分

10. 解釋反向模式自動微分的原理

11. 設計一個計算圖數據結構

12. 動態圖和靜態圖的區別

13. 梯度累積和梯度裁剪的實現

14. 常見的計算圖優化pass

15. Conv+BN+ReLU算子融合的原理

16. 實現一個支持自動微分的Tensor類

17. 算子編譯的流程

18. Pass的設計和調度，Pass的分類

19. 推理引擎的內存復用實現

20. 數據並行和模型並行的區別，AllReduce的原理

心得建議

1. C++是基本功。框架開發對C++的要求非常高，不僅是語法層面，還包括內存管理、模板元編程、多線程編程等。建議面試前系統複習C++11/14/17的新特性。

2. 算子開發要有實戰。光看理論不夠，一定要自己寫過CUDA kernel，理解GPU編程的模型和優化技巧。面試中會讓你寫代碼，如果沒寫過會很被動。

3. 自動微分要深入理解。這是深度學習框架的核心，必須理解前向傳播和反向傳播的完整流程，以及計算圖的構建和優化。

4. 關注框架的設計哲學。面試中會問你對動態圖vs靜態圖、eager mode vs graph mode的看法，這需要你對不同框架的設計有深入思考。

5. 讀源碼是最好的準備。飛槳的源碼是開源的，面試前建議讀一下核心模塊的代碼（算子註冊、自動微分、計算圖優化），面試中能引用源碼會很有說服力。

FAQ

Q：框架開發面試對C++要求有多高？
A：非常高。面試中會深入問C++的底層機制（內存模型、模板、多線程），還會讓你寫代碼。建議至少有1年的C++項目經驗，熟悉C++11/14/17的新特性。

Q：需要會寫CUDA嗎？
A：基本必須。框架開發的算子大部分需要GPU實現，面試中會直接讓你寫CUDA kernel。建議至少寫過幾個常見的kernel（向量運算、矩陣乘法、reduction）。

Q：百度飛槳和PyTorch的開發體驗有什麼不同？
A：飛槳更偏靜態圖設計（雖然現在也支持動態圖），編譯優化做得更深；PyTorch更偏動態圖，調試更方便。開發體驗上飛槳的算子註冊機制和PyTorch不太一樣，需要適應。

Q：框架開發的職業發展如何？
A：這是一個比較小眾但很有價值的方向。框架開發工程師的供需比很低，薪資很有競爭力。而且框架開發的經驗對理解整個AI系統非常有幫助，後續可以往AI基礎設施、編譯器優化等方向發展。

Q：面試中會被問到論文嗎？
A：可能會，特別是跟算子優化和編譯優化相關的論文（比如TVM、XLA、TensorRT的設計論文）。但不是硬性要求，更看重你的工程能力和系統思維。