阿里達摩院NLP算法面試經歷：預訓練+信息抽取+文本生成全考察

背景介紹

先自我介紹一下，本科數學，碩士轉了計算機，研究方向是自然語言處理，畢業後在一家AI創業公司做了2年NLP算法工程師，主要做信息抽取和文本生成相關的工作。阿里達摩院一直是我的dream offer，他們的NLP團隊在國內絕對是頂級的，所以看到招聘信息就毫不猶豫地投了。

投的是阿里達摩院NLP算法工程師崗位，base杭州。整個面試流程大概兩週半，三輪技術面，節奏比較緊湊。說實話，達摩院的面試確實有水平，問得很深也很細，不是那種背八股就能過的。下面詳細說說。

面試流程複盤

一面：NLP基礎+預訓練模型

一面的面試官是個看起來很沉穩的工程師，應該是組裡的骨幹。先讓我自我介紹，然後問了一些NLP基礎問題。

第一個問題：Transformer的自注意力機制能詳細講講嗎？這個太經典了，我從QKV的計算、縮放點積注意力、多頭注意力的拼接，到位置編碼都詳細說了。面試官追問了為什麼用縮放因子除以sqrt(d_k)，我說是為了防止點積值過大導致softmax梯度消失。

然後重點聊預訓練模型：BERT和GPT的預訓練目標有什麼區別？各有什麼優缺點？我說BERT是MLM（掩碼語言模型）+NSP（下一句預測），是雙向編碼器，適合理解類任務；GPT是自回歸語言模型，是單向解碼器，適合生成類任務。面試官追問了RoBERTa對BERT做了哪些改進，我說去掉了NSP、動態masking、更大batch和更多數據。

問了一個比較深入的問題：大語言模型的湧現能力你怎麼理解？我說湧現能力是指模型在參數量達到一定規模後突然出現的能力，比如思維鏈推理、少樣本學習等。但我也提到最近有研究質疑湧現能力是否只是評估指標的假象，用非線性指標會看到湧現，用線性指標就是平滑提升。面試官對這個討論很感興趣。

還問了一個實操題：如果讓你微調一個7B的模型做特定領域的文本分類，你會怎麼做？我提到了LoRA、QLoRA這些參數高效微調方法，以及數據準備（領域數據收集、清洗、標注）、訓練策略（學習率調度、梯度累積）和評估方法。面試官追問了LoRA的rank怎麼選，我說一般從8開始試，根據驗證集效果調整。

一面大概55分鐘，面試官說基礎不錯，讓我準備二面。

二面：信息抽取+NER/RE

二面的面試官級別明顯更高，問的問題也更偏實戰和系統設計。

先問信息抽取：命名實體識別的主流方法有哪些？我說了基於序列標注的方法（BiLSTM-CRF、BERT-CRF）、基於Span的方法（SpanBERT）、以及基於生成的方法（用seq2seq模型生成實體）。面試官追問了BERT-CRF和BERT-Softmax在實際項目中的效果差異，我說CRF能學到標籤間的轉移約束，對連續實體效果更好，但訓練更慢。

然後問關係抽取：關係抽取有哪些方法？遠監督的噪聲標籤怎麼處理？我說了管道方法（先NER再RE）和聯合方法（實體關係聯合抽取），遠監督的噪聲處理提到了多實例學習、注意力機制選擇有效句子、以及基於規則的後處理。面試官讓我寫一個聯合抽取的模型架構，我畫了CasRel的架構圖並解釋了級聯解碼的過程。

出了一個系統設計題：設計一個企業級知識圖譜構建系統，從非結構化文本到知識圖譜全流程。這個題很大，我從數據接入、實體識別、關係抽取、事件抽取、知識融合（實體對齊、消歧）、知識存儲（圖數據庫）、到知識應用（問答、推薦）都說了。面試官追問了知識融合的難點，我說實體消歧最麻煩，同名不同實體的情況很多，需要結合上下文和外部知識庫。

還問了一個比較新的方向：大模型做信息抽取和傳統方法比有什麼優劣？我說大模型的優勢是zero-shot/few-shot能力強，不需要標注數據；劣勢是推理慢、成本高、可控性差。實際項目中可以用大模型做冷啟動，然後蒸餾到小模型做線上服務。

二面大概65分鐘，聊得比較深入。

三面：文本生成+項目深挖

三面是部門的技術大佬，壓力比較大。這輪主要聊文本生成和項目經歷。

先問文本生成：文本生成的解碼策略有哪些？我說了貪心搜索、束搜索（beam search）、top-k採樣、top-p（nucleus）採樣，以及溫度係數的作用。面試官追問了beam search的diversity問題，我提到了diverse beam search和contrastive search。

然後聊文本生成的評估：BLEU、ROUGE這些指標的局限性是什麼？我說它們基於n-gram重疊，無法衡量語義等價性，對生成多樣性的評估也不夠。我提到了BERTScore、BLEURT這些基於預訓練模型的評估指標，以及用LLM做評估的最新趨勢。

深挖項目：你做的文本生成項目，生成質量怎麼保證？我說了幾個方面：數據質量（清洗、去重、多樣性）、模型訓練（RLHF/DPO對齊）、後處理（規則過濾、重排序）、以及人工評估。面試官追問了RLHF的reward model怎麼訓練，我說用人類偏好數據訓練一個打分模型，然後用PPO優化生成策略。

還問了一個開放題：你覺得NLP未來最重要的方向是什麼？我說了多模態理解與生成、長文本理解、以及NLP for Science（用NLP加速科學發現）。面試官對NLP for Science這個方向很感興趣，我們聊了用NLP做文獻挖掘和知識發現的可能性。

三面大概50分鐘，面試官最後說"期待你來"，讓我等HR聯繫。

真題彙總

1. Transformer自注意力機制的細節？為什麼用縮放因子？

2. BERT和GPT的預訓練目標區別？各有什麼優缺點？

3. RoBERTa對BERT做了哪些改進？

4. 大語言模型的湧現能力怎麼理解？

5. 如何微調7B模型做特定領域文本分類？

6. 命名實體識別的主流方法？

7. 關係抽取的方法？遠監督噪聲怎麼處理？

8. 設計企業級知識圖譜構建系統。

9. 大模型做信息抽取vs傳統方法的優劣？

10. 文本生成的解碼策略？

11. BLEU/ROUGE指標的局限性？

12. 文本生成質量怎麼保證？

13. RLHF的reward model怎麼訓練？

14. NLP未來最重要的方向？

心得建議

1. Transformer是必考：NLP面試100%會問Transformer，從注意力機制到位置編碼，每個細節都要搞清楚。

2. 預訓練模型要深入：不只是知道BERT和GPT的區別，還要了解它們的變體（RoBERTa、ALBERT、DeBERTa等）和改進點。

3. 系統設計要有全局觀：達摩院特別看重系統設計能力，知識圖譜構建這種題要從全流程角度回答，不能只盯著一個環節。

4. 關注大模型前沿：湧現能力、RLHF、LoRA這些熱點一定要了解，面試官很看重你的前沿視野。

5. 項目要有深度：三面深挖項目時，不只是說做了什麼，還要說為什麼這麼做、有什麼trade-off、效果如何量化。

FAQ

Q：達摩院NLP團隊看重什麼？
A：扎實的NLP基礎+系統設計能力+前沿視野。三個缺一不可。

Q：沒有頂會論文能進嗎？
A：可以，但項目經歷要足夠硬。我也沒有頂會，但項目做得比較深入。

Q：面試會寫代碼嗎？
A：會，一面有算法題，二面有模型架構設計，三面偏討論。

Q：NLP方向怎麼選？
A：看個人興趣和行業需求。信息抽取和文本生成是兩大剛需方向，推薦重點關注。

Q：達摩院的工作強度？
A：比外面好一些，但也不輕鬆。好處是能專注做研究，工程壓力相對小。