腾讯AI Lab计算机视觉面试经历：目标检测+图像分割+视频理解全考察

背景介绍

先说下我自己，本科自动化，硕士转了计算机视觉方向，毕业后在一家自动驾驶公司做了2年CV算法工程师，主要做目标检测和语义分割。腾讯AI Lab一直是国内CV研究的天花板之一，他们发的论文我基本都读过，所以看到招聘就果断投了。

投的是腾讯AI Lab计算机视觉研究员岗位，base深圳。整个面试流程大概三周，三轮技术面，每轮都很有深度。说实话，AI Lab的面试和业务部门的面试风格很不一样，更偏研究导向，会深挖你对方法本质的理解。下面详细复盘。

面试流程复盘

一面：CV基础+CNN/Transformer

一面的面试官是个很年轻的博士，看起来刚毕业不久。先让我自我介绍，然后开始问CV基础。

第一个问题：ResNet的残差连接为什么有效？这个我答得比较全面：从梯度传播角度，残差连接提供了梯度的"高速公路"，缓解了梯度消失；从优化角度，残差映射比恒等映射更容易学习；从集成角度，ResNet可以看作是不同深度路径的隐式集成。面试官追问了如果去掉残差连接会怎样，我说深层网络会出现退化问题，训练误差反而比浅层网络高。

然后问Transformer在CV中的应用：Vision Transformer的patch embedding是怎么做的？为什么能work？我说ViT把图像切成固定大小的patch（比如16x16），然后线性投影成token序列，加上位置编码后送入标准Transformer。能work的原因是大规模预训练数据弥补了归纳偏置的缺失，但小数据集上不如CNN。面试官追问了DeiT怎么解决小数据问题，我提到了知识蒸馏和更强的数据增强。

问了一个比较经典的问题：目标检测中anchor-based和anchor-free的区别？各有什么优劣？我说anchor-based（Faster R-CNN、YOLOv5）需要预设anchor，对超参敏感但稳定性好；anchor-free（FCOS、CenterNet）直接预测点或中心，更简洁但训练可能不稳定。面试官追问了ATSS怎么自适应选择anchor，我详细解释了基于统计特征的自适应策略。

还问了一个实操题：如果你要训练一个目标检测模型，数据只有1000张标注图片，你会怎么做？我提到了几个策略：预训练模型微调（COCO预训练）、数据增强（Mosaic、MixUp、CopyPaste）、半监督学习（用伪标签扩充数据）、以及小样本学习方法。面试官对CopyPaste增强比较感兴趣，追问了实现细节。

一面大概50分钟，面试官说"基础很扎实"，让我等二面。

二面：目标检测+YOLO/DETR

二面的面试官明显更资深，问的问题更偏前沿和思考深度。

先聊YOLO系列：从YOLOv1到YOLOv8，你认为最重要的改进是什么？我说了几个关键节点：YOLOv2的anchor机制、YOLOv3的多尺度检测、YOLOv4的CSPNet和Mosaic增强、YOLOv5的自动超参、YOLOX的anchor-free和解耦头、YOLOv8的分布式聚焦损失。面试官追问了CSPNet为什么能加速，我说通过跨阶段部分连接减少了计算量同时保持特征复用。

然后聊DETR系列：DETR为什么收敛慢？Deformable DETR怎么解决的？我说DETR收敛慢是因为全局注意力在训练初期对每个位置的关注太均匀，很难聚焦到关键区域。Deformable DETR通过可变形注意力只关注参考点附近的少量采样点，把注意力从全局O(n²)降到O(nk)，既加速了收敛又降低了计算量。面试官追问了DAB-DETR的改进，我说它把anchor位置信息显式地作为query引入，进一步加速收敛。

出了一个开放题：你觉得目标检测的未来发展方向是什么？我说了三个方向：端到端检测（DETR系列继续演进）、开放词汇检测（检测任意类别，不受训练集限制）、以及3D/视频检测。面试官对开放词汇检测很感兴趣，我们聊了OWL-ViT和Grounding DINO的思路。

还问了一个实战题：小目标检测有什么好的解决方案？我提到了多尺度特征融合（FPN、BiFPN、PANet）、高分辨率输入、切片辅助推理（SAHI）、以及专门的小目标数据增强。面试官追问了FPN的特征融合方式，我详细说了自顶向下的上采样融合和横向连接。

二面大概60分钟，聊得很过瘾。

三面：图像分割+视频理解+项目深挖

三面是AI Lab的资深研究员，压力比较大。这轮主要聊分割、视频理解和项目。

先问图像分割：语义分割、实例分割、全景分割的区别？我说语义分割是像素级分类，不区分同类实例；实例分割是区分每个实例但不处理背景；全景分割是前两者的统一，既分类像素又区分实例。面试官追问了Mask2Former怎么统一三种分割任务，我说它用统一的mask分类范式，通过不同的query处理语义和实例。

然后聊视频理解：视频理解和图像理解的核心区别是什么？我说最核心的区别是时序建模——视频有时序依赖关系，需要建模帧间的运动和变化。方法上，早期用3D CNN（C3D、I3D），后来用时序注意力（TimeSformer、ViViT），现在主流是双流架构加时序模块。面试官追问了VideoMAE的自监督预训练方法，我说它随机mask掉大量tube（时空patch），然后重建，强迫模型学习时空表征。

深挖项目：你在自动驾驶中做的目标检测，怎么处理遮挡和截断？我说了几个策略：数据层面用遮挡增强模拟、特征层面用上下文推理补全遮挡部分、后处理层面用NMS的soft变体（Soft-NMS）避免误删。面试官追问了如果严重遮挡导致完全看不到怎么办，我说可以用时序信息——当前帧看不到但前后帧可能看到，用跟踪算法关联。

还问了一个研究方向的题：你觉得CV领域还有哪些重要的未解决问题？我说了几个：3D理解（从2D到3D的推理）、长视频理解（超越短视频片段）、物理世界理解（理解物体的物理属性和交互关系）、以及CV基础模型的泛化性。面试官对物理世界理解很感兴趣，说这也是他们正在探索的方向。

三面大概55分钟，面试官最后说"欢迎加入"，让我等HR联系。

真题汇总

1. ResNet残差连接为什么有效？

2. ViT的patch embedding怎么做？为什么能work？

3. anchor-based和anchor-free的区别？

4. 小数据集训练目标检测的策略？

5. YOLO系列最重要的改进？

6. DETR为什么收敛慢？Deformable DETR怎么解决？

7. 目标检测的未来发展方向？

8. 小目标检测的解决方案？

9. 语义分割、实例分割、全景分割的区别？

10. 视频理解和图像理解的核心区别？

11. VideoMAE的自监督预训练方法？

12. 自动驾驶中怎么处理遮挡和截断？

13. CV领域还有哪些未解决问题？

心得建议

1. 不只知其然，还要知其所以然：AI Lab的面试不是考你背了多少方法，而是考你理解有多深。ResNet为什么有效、DETR为什么收敛慢，这些"为什么"比"是什么"更重要。

2. 关注方法演进脉络：从YOLOv1到v8、从DETR到DAB-DETR，面试官喜欢看你能不能把方法串起来讲，理解改进的逻辑。

3. 实战经验很重要：小数据训练、小目标检测、遮挡处理这些实战问题，没有项目经验很难答好。

4. 前沿视野：开放词汇检测、3D理解这些前沿方向，面试官很看重你是否关注领域发展趋势。

5. 交叉领域知识：CV和NLP的交叉（如CLIP）、CV和3D的交叉，这些交叉知识是加分项。

FAQ

Q：AI Lab和腾讯业务部门的面试有什么区别？
A：AI Lab更偏研究，会深挖方法原理；业务部门更偏工程，关注落地和性能优化。

Q：需要发过顶会论文吗？
A：不是硬性要求，但有论文肯定是加分项。更重要的是研究思维和深度理解。

Q：CV方向现在还值得入坑吗？
A：值得。虽然竞争激烈，但CV的应用场景（自动驾驶、机器人、AR/VR）在持续扩展。

Q：面试会考编程吗？
A：会，一面有算法编程题，二面可能让你写模型关键代码。

Q：AI Lab的工作氛围？
A：偏学术，自由度高，鼓励发论文。但也要有产出压力，不是纯象牙塔。