騰訊AI Lab計算機視覺面試經歷：目標檢測+圖像分割+視頻理解全考察

背景介紹

先說下我自己，本科自動化，碩士轉了計算機視覺方向，畢業後在一家自動駕駛公司做了2年CV算法工程師，主要做目標檢測和語義分割。騰訊AI Lab一直是國內CV研究的天花板之一，他們發的論文我基本都讀過，所以看到招聘就果斷投了。

投的是騰訊AI Lab計算機視覺研究員崗位，base深圳。整個面試流程大概三週，三輪技術面，每輪都很有深度。說實話，AI Lab的面試和業務部門的面試風格很不一樣，更偏研究導向，會深挖你對方法本質的理解。下面詳細複盤。

面試流程複盤

一面：CV基礎+CNN/Transformer

一面的面試官是個很年輕的博士，看起來剛畢業不久。先讓我自我介紹，然後開始問CV基礎。

第一個問題：ResNet的殘差連接為什麼有效？這個我答得比較全面：從梯度傳播角度，殘差連接提供了梯度的「高速公路」，緩解了梯度消失；從優化角度，殘差映射比恆等映射更容易學習；從集成角度，ResNet可以看作是不同深度路徑的隱式集成。面試官追問了如果去掉殘差連接會怎樣，我說深層網絡會出現退化問題，訓練誤差反而比淺層網絡高。

然後問Transformer在CV中的應用：Vision Transformer的patch embedding是怎麼做的？為什麼能work？我說ViT把圖像切成固定大小的patch（比如16x16），然後線性投影成token序列，加上位置編碼後送入標準Transformer。能work的原因是大規模預訓練數據彌補了歸納偏置的缺失，但小數據集上不如CNN。面試官追問了DeiT怎麼解決小數據問題，我提到了知識蒸餾和更強的數據增強。

問了一個比較經典的問題：目標檢測中anchor-based和anchor-free的區別？各有什麼優劣？我說anchor-based（Faster R-CNN、YOLOv5）需要預設anchor，對超參敏感但穩定性好；anchor-free（FCOS、CenterNet）直接預測點或中心，更簡潔但訓練可能不穩定。面試官追問了ATSS怎麼自適應選擇anchor，我詳細解釋了基於統計特徵的自適應策略。

還問了一個實操題：如果你要訓練一個目標檢測模型，數據只有1000張標注圖片，你會怎麼做？我提到了幾個策略：預訓練模型微調（COCO預訓練）、數據增強（Mosaic、MixUp、CopyPaste）、半監督學習（用偽標籤擴充數據）、以及小樣本學習方法。面試官對CopyPaste增強比較感興趣，追問了實現細節。

一面大概50分鐘，面試官說「基礎很扎實」，讓我等二面。

二面：目標檢測+YOLO/DETR

二面的面試官明顯更資深，問的問題更偏前沿和思考深度。

先聊YOLO系列：從YOLOv1到YOLOv8，你認為最重要的改進是什麼？我說了幾個關鍵節點：YOLOv2的anchor機制、YOLOv3的多尺度檢測、YOLOv4的CSPNet和Mosaic增強、YOLOv5的自動超參、YOLOX的anchor-free和解耦頭、YOLOv8的分佈式聚焦損失。面試官追問了CSPNet為什麼能加速，我說通過跨階段部分連接減少了計算量同時保持特徵復用。

然後聊DETR系列：DETR為什麼收斂慢？Deformable DETR怎麼解決的？我說DETR收斂慢是因為全局注意力在訓練初期對每個位置的關注太均勻，很難聚焦到關鍵區域。Deformable DETR通過可變形注意力只關注參考點附近的少量採樣點，把注意力從全局O(n²)降到O(nk)，既加速了收斂又降低了計算量。面試官追問了DAB-DETR的改進，我說它把anchor位置信息顯式地作為query引入，進一步加速收斂。

出了一個開放題：你覺得目標檢測的未來發展方向是什麼？我說了三個方向：端到端檢測（DETR系列繼續演進）、開放詞彙檢測（檢測任意類別，不受訓練集限制）、以及3D/視頻檢測。面試官對開放詞彙檢測很感興趣，我們聊了OWL-ViT和Grounding DINO的思路。

還問了一個實戰題：小目標檢測有什麼好的解決方案？我提到了多尺度特徵融合（FPN、BiFPN、PANet）、高分辨率輸入、切片輔助推推理（SAHI）、以及專門的小目標數據增強。面試官追問了FPN的特徵融合方式，我詳細說了自頂向下的上採樣融合和橫向連接。

二面大概60分鐘，聊得很過癮。

三面：圖像分割+視頻理解+項目深挖

三面是AI Lab的資深研究員，壓力比較大。這輪主要聊分割、視頻理解和項目。

先問圖像分割：語義分割、實例分割、全景分割的區別？我說語義分割是像素級分類，不區分同類實例；實例分割是區分每個實例但不處理背景；全景分割是前兩者的統一，既分類像素又區分實例。面試官追問了Mask2Former怎麼統一三種分割任務，我說它用統一的mask分類範式，通過不同的query處理語義和實例。

然後聊視頻理解：視頻理解和圖像理解的核心區別是什麼？我說最核心的區別是時序建模——視頻有時序依賴關係，需要建模幀間的運動和變化。方法上，早期用3D CNN（C3D、I3D），後來用時序注意力（TimeSformer、ViViT），現在最主流是雙流架構加時序模塊。面試官追問了VideoMAE的自監督預訓練方法，我說它隨機mask掉大量tube（時空patch），然後重建，強迫模型學習時空表徵。

深挖項目：你在自動駕駛中做的目標檢測，怎麼處理遮擋和截斷？我說了幾個策略：數據層面用遮擋增強模擬、特徵層面用上下文推理補全遮擋部分、後處理層面用NMS的soft變體（Soft-NMS）避免誤刪。面試官追問了如果嚴重遮擋導致完全看不到怎麼辦，我說可以用時序信息——當前幀看不到但前後幀可能看到，用跟蹤算法關聯。

還問了一個研究方向的題：你覺得CV領域還有哪些重要的未解決問題？我說了幾個：3D理解（從2D到3D的推理）、長視頻理解（超越短視頻片段）、物理世界理解（理解物體的物理屬性和交互關係）、以及CV基礎模型的泛化性。面試官對物理世界理解很感興趣，說這也是他們正在探索的方向。

三面大概55分鐘，面試官最後說「歡迎加入」，讓我等HR聯繫。

真題彙總

1. ResNet殘差連接為什麼有效？

2. ViT的patch embedding怎麼做？為什麼能work？

3. anchor-based和anchor-free的區別？

4. 小數據集訓練目標檢測的策略？

5. YOLO系列最重要的改進？

6. DETR為什麼收斂慢？Deformable DETR怎麼解決？

7. 目標檢測的未來發展方向？

8. 小目標檢測的解決方案？

9. 語義分割、實例分割、全景分割的區別？

10. 視頻理解和圖像理解的核心區別？

11. VideoMAE的自監督預訓練方法？

12. 自動駕駛中怎麼處理遮擋和截斷？

13. CV領域還有哪些未解決問題？

心得建議

1. 不只知其然，還要知其所以然：AI Lab的面試不是考你背了多少方法，而是考你理解有多深。ResNet為什麼有效、DETR為什麼收斂慢，這些「為什麼」比「是什麼」更重要。

2. 關注方法演進脈絡：從YOLOv1到v8、從DETR到DAB-DETR，面試官喜歡看你能不能把方法串起來講，理解改進的邏輯。

3. 實戰經驗很重要：小數據訓練、小目標檢測、遮擋處理這些實戰問題，沒有項目經驗很難答好。

4. 前沿視野：開放詞彙檢測、3D理解這些前沿方向，面試官很看重你是否關注領域發展趨勢。

5. 交叉領域知識：CV和NLP的交叉（如CLIP）、CV和3D的交叉，這些交叉知識是加分項。

FAQ

Q：AI Lab和騰訊業務部門的面試有什麼區別？
A：AI Lab更偏研究，會深挖方法原理；業務部門更偏工程，關注落地和性能優化。

Q：需要發過頂會論文嗎？
A：不是硬性要求，但有論文肯定是加分項。更重要的是研究思維和深度理解。

Q：CV方向現在還值得入坑嗎？
A：值得。雖然競爭激烈，但CV的應用場景（自動駕駛、機器人、AR/VR）在持續擴展。

Q：面試會考編程嗎？
A：會，一面有算法編程題，二面可能讓你寫模型關鍵代碼。

Q：AI Lab的工作氛圍？
A：偏學術，自由度高，鼓勵發論文。但也要有產出壓力，不是純象牙塔。