阿里达摩院NLP算法面试经历：预训练+信息抽取+文本生成全考察

背景介绍

先自我介绍一下，本科数学，硕士转了计算机，研究方向是自然语言处理，毕业后在一家AI创业公司做了2年NLP算法工程师，主要做信息抽取和文本生成相关的工作。阿里达摩院一直是我的dream offer，他们的NLP团队在国内绝对是顶级的，所以看到招聘信息就毫不犹豫地投了。

投的是阿里达摩院NLP算法工程师岗位，base杭州。整个面试流程大概两周半，三轮技术面，节奏比较紧凑。说实话，达摩院的面试确实有水平，问得很深也很细，不是那种背八股就能过的。下面详细说说。

面试流程复盘

一面：NLP基础+预训练模型

一面的面试官是个看起来很沉稳的工程师，应该是组里的骨干。先让我自我介绍，然后问了一些NLP基础问题。

第一个问题：Transformer的自注意力机制能详细讲讲吗？这个太经典了，我从QKV的计算、缩放点积注意力、多头注意力的拼接，到位置编码都详细说了。面试官追问了为什么用缩放因子除以sqrt(d_k)，我说是为了防止点积值过大导致softmax梯度消失。

然后重点聊预训练模型：BERT和GPT的预训练目标有什么区别？各有什么优缺点？我说BERT是MLM（掩码语言模型）+NSP（下一句预测），是双向编码器，适合理解类任务；GPT是自回归语言模型，是单向解码器，适合生成类任务。面试官追问了RoBERTa对BERT做了哪些改进，我说去掉了NSP、动态masking、更大batch和更多数据。

问了一个比较深入的问题：大语言模型的涌现能力你怎么理解？我说涌现能力是指模型在参数量达到一定规模后突然出现的能力，比如思维链推理、少样本学习等。但我也提到最近有研究质疑涌现能力是否只是评估指标的假象，用非线性指标会看到涌现，用线性指标就是平滑提升。面试官对这个讨论很感兴趣。

还问了一个实操题：如果让你微调一个7B的模型做特定领域的文本分类，你会怎么做？我提到了LoRA、QLoRA这些参数高效微调方法，以及数据准备（领域数据收集、清洗、标注）、训练策略（学习率调度、梯度累积）和评估方法。面试官追问了LoRA的rank怎么选，我说一般从8开始试，根据验证集效果调整。

一面大概55分钟，面试官说基础不错，让我准备二面。

二面：信息抽取+NER/RE

二面的面试官级别明显更高，问的问题也更偏实战和系统设计。

先问信息抽取：命名实体识别的主流方法有哪些？我说了基于序列标注的方法（BiLSTM-CRF、BERT-CRF）、基于Span的方法（SpanBERT）、以及基于生成的方法（用seq2seq模型生成实体）。面试官追问了BERT-CRF和BERT-Softmax在实际项目中的效果差异，我说CRF能学到标签间的转移约束，对连续实体效果更好，但训练更慢。

然后问关系抽取：关系抽取有哪些方法？远监督的噪声标签怎么处理？我说了管道方法（先NER再RE）和联合方法（实体关系联合抽取），远监督的噪声处理提到了多实例学习、注意力机制选择有效句子、以及基于规则的后处理。面试官让我写一个联合抽取的模型架构，我画了CasRel的架构图并解释了级联解码的过程。

出了一个系统设计题：设计一个企业级知识图谱构建系统，从非结构化文本到知识图谱全流程。这个题很大，我从数据接入、实体识别、关系抽取、事件抽取、知识融合（实体对齐、消歧）、知识存储（图数据库）、到知识应用（问答、推荐）都说了。面试官追问了知识融合的难点，我说实体消歧最麻烦，同名不同实体的情况很多，需要结合上下文和外部知识库。

还问了一个比较新的方向：大模型做信息抽取和传统方法比有什么优劣？我说大模型的优势是zero-shot/few-shot能力强，不需要标注数据；劣势是推理慢、成本高、可控性差。实际项目中可以用大模型做冷启动，然后蒸馏到小模型做线上服务。

二面大概65分钟，聊得比较深入。

三面：文本生成+项目深挖

三面是部门的技术大佬，压力比较大。这轮主要聊文本生成和项目经历。

先问文本生成：文本生成的解码策略有哪些？我说了贪心搜索、束搜索（beam search）、top-k采样、top-p（nucleus）采样，以及温度系数的作用。面试官追问了beam search的diversity问题，我提到了diverse beam search和contrastive search。

然后聊文本生成的评估：BLEU、ROUGE这些指标的局限性是什么？我说它们基于n-gram重叠，无法衡量语义等价性，对生成多样性的评估也不够。我提到了BERTScore、BLEURT这些基于预训练模型的评估指标，以及用LLM做评估的最新趋势。

深挖项目：你做的文本生成项目，生成质量怎么保证？我说了几个方面：数据质量（清洗、去重、多样性）、模型训练（RLHF/DPO对齐）、后处理（规则过滤、重排序）、以及人工评估。面试官追问了RLHF的reward model怎么训练，我说用人类偏好数据训练一个打分模型，然后用PPO优化生成策略。

还问了一个开放题：你觉得NLP未来最重要的方向是什么？我说了多模态理解与生成、长文本理解、以及NLP for Science（用NLP加速科学发现）。面试官对NLP for Science这个方向很感兴趣，我们聊了用NLP做文献挖掘和知识发现的可能性。

三面大概50分钟，面试官最后说"期待你来"，让我等HR联系。

真题汇总

1. Transformer自注意力机制的细节？为什么用缩放因子？

2. BERT和GPT的预训练目标区别？各有什么优缺点？

3. RoBERTa对BERT做了哪些改进？

4. 大语言模型的涌现能力怎么理解？

5. 如何微调7B模型做特定领域文本分类？

6. 命名实体识别的主流方法？

7. 关系抽取的方法？远监督噪声怎么处理？

8. 设计企业级知识图谱构建系统。

9. 大模型做信息抽取vs传统方法的优劣？

10. 文本生成的解码策略？

11. BLEU/ROUGE指标的局限性？

12. 文本生成质量怎么保证？

13. RLHF的reward model怎么训练？

14. NLP未来最重要的方向？

心得建议

1. Transformer是必考：NLP面试100%会问Transformer，从注意力机制到位置编码，每个细节都要搞清楚。

2. 预训练模型要深入：不只是知道BERT和GPT的区别，还要了解它们的变体（RoBERTa、ALBERT、DeBERTa等）和改进点。

3. 系统设计要有全局观：达摩院特别看重系统设计能力，知识图谱构建这种题要从全流程角度回答，不能只盯着一个环节。

4. 关注大模型前沿：涌现能力、RLHF、LoRA这些热点一定要了解，面试官很看重你的前沿视野。

5. 项目要有深度：三面深挖项目时，不只是说做了什么，还要说为什么这么做、有什么trade-off、效果如何量化。

FAQ

Q：达摩院NLP团队看重什么？
A：扎实的NLP基础+系统设计能力+前沿视野。三个缺一不可。

Q：没有顶会论文能进吗？
A：可以，但项目经历要足够硬。我也没有顶会，但项目做得比较深入。

Q：面试会写代码吗？
A：会，一面有算法题，二面有模型架构设计，三面偏讨论。

Q：NLP方向怎么选？
A：看个人兴趣和行业需求。信息抽取和文本生成是两大刚需方向，推荐重点关注。

Q：达摩院的工作强度？
A：比外面好一些，但也不轻松。好处是能专注做研究，工程压力相对小。