曠視科技AIoT工程師面試經歷：邊緣計算+模型壓縮+物聯網全考察

背景介紹

說起來我入坑AIoT也算是個意外。碩士畢業後在一家做智能安防的公司幹了兩年，一開始是做純視覺算法的，後來公司轉型做AIoT平台，我就跟著轉了方向，開始接觸邊緣計算、模型壓縮和物聯網相關的技術。說實話，AIoT這個方向雖然不如純算法那麼「高大上」，但實際應用場景特別多，而且對工程能力的要求極高，我覺得反而更適合我這種喜歡折騰的人。

曠視科技在AIoT領域算是頭部玩家了，他們的城市物聯網解決方案做得非常成熟，所以看到他們招AIoT工程師就投了。準備面試的時候，我重點復習了模型壓縮（量化、剪枝、蒸餾）的理論和實踐，邊緣計算框架（TensorRT、ONNX Runtime、OpenVINO）的使用，以及物聯網協議和嵌入式AI的相關知識。整個準備週期大概一個月。

投遞後大概5天收到了HR的電話，聊了聊基本情況後安排了技術一面。整個流程是三輪技術面+一輪HR面，下面詳細復盤。

面試流程復盤

一面：邊緣計算+模型壓縮（約65分鐘）

一面面試官是個看起來很年輕的工程師，但問的問題一點都不含糊。開場讓我自我介紹後，直接進入技術環節。

問題1：你們在邊緣端部署模型時，是怎麼選擇硬體平台的？考慮哪些因素？

這個問題很實際。我說選擇邊緣硬體平台主要考慮四個因素：算力（TOPS）、功耗、內存帶寬和生態支持。比如Jetson系列生態好但功耗高，瑞芯微的RK3588性價比高但生態差一些，寒武紀的MLU算力強但軟體棧不夠成熟。具體選擇要看應用場景——如果是固定場景的智能攝像頭，RK3588就夠了；如果是移動機器人，就需要考慮功耗更低的方案。

問題2：詳細說一下模型量化的流程，PTQ和QAT的區別是什麼？

我從量化的基本原理講起，說了均勻量化和非均勻量化的區別，然後重點講了PTQ和QAT的流程。PTQ是訓練後量化，核心是用校準數據集確定量化參數（scale和zero point），優點是簡單快速，缺點是精度損失可能較大。QAT是量化感知訓練，在訓練過程中模擬量化誤差，精度更好但需要訓練資源和數據。面試官追問了INT8量化在目標檢測任務上的精度影響，我說通常mAP下降1-3%，但通過混合精度量化（敏感層用FP16）可以控制在1%以內。

問題3：模型剪枝有哪些方法？結構化剪枝和非結構化剪枝各有什麼優缺點？

我說非結構化剪枝（隨機剪掉單個權重）壓縮率高但需要稀疏計算硬體支持，實際加速效果有限；結構化剪枝（剪掉整個通道或層）壓縮率低一些但能真正加速推理。我重點講了我們項目中用的通道剪枝方法：先訓練一個過參數化的模型，然後根據BN層的gamma參數評估通道重要性，剪掉不重要的通道後微調恢復精度。面試官追問了剪枝率的確定方法，我說我們用漸進式剪枝，從低剪枝率開始逐步增加，每步都驗證精度。

編程題：實現一個簡單的INT8量化函數，輸入FP32權重和校準數據，輸出量化後的權重和量化參數。

這道題比較常規，我實現了對稱量化的流程：遍歷校準數據找到絕對值最大值，計算scale，然後對權重做量化。面試官讓我分析了量化誤差的來源，我說主要是捨入誤差和截斷誤差，以及激活值分佈不均勻時截斷帶來的信息損失。

二面：物聯網+嵌入式AI（約70分鐘）

二面面試官明顯更有經驗，問題更加系統和深入。

問題1：你們AIoT系統的整體架構是怎樣的？數據從採集到最終決策的完整鏈路是什麼？

我畫了個架構圖（口述），從傳感器層（攝像頭、溫濕度傳感器等）到邊緣網關（模型推理），再到雲平台（數據聚合、模型訓練、OTA更新），最後到應用層（告警、報表、決策）。重點講了邊緣網關的設計：我們用RK3588做主控，上面跑Ubuntu + Docker，模型推理用NCNN加速，和雲端的通信用MQTT協議。

問題2：MQTT和HTTP在IoT場景下各有什麼優缺點？為什麼你們選了MQTT？

我說MQTT是輕量級的發布/訂閱協議，報文開銷小、支持QoS、適合弱網環境，但功能單一，不適合傳輸大數據。HTTP功能豐富但開銷大，適合配置管理和文件傳輸。我們選MQTT是因為IoT場景下網絡不穩定，MQTT的QoS機制能保證消息可靠送達，而且報文開銷小，適合頻繁的小數據傳輸。

問題3：在資源受限的嵌入式設備上，怎麼實現一個輕量級的目標檢測系統？

我說了幾個關鍵步驟：模型選型上用YOLOv5n或NanoDet這種輕量模型，輸入解析度降到320x320，推理框架用NCNN或TFLite，後處理做NMS優化。然後重點講了我們做的一個優化：把NMS從CPU移到模型內部用自定義算子實現，減少了CPU-GPU之間的數據拷貝，推理速度提升了約15%。面試官對這個優化很感興趣，追問了具體實現細節。

問題4：邊緣端和雲端之間的模型更新怎麼做？遇到過什麼問題？

我說我們用OTA的方式更新模型，雲端訓練好新模型後推送到邊緣網關，網關下載後驗證模型完整性（MD5校驗），然後熱替換正在運行的模型。主要問題是：一是模型文件可能比較大，下載慢；二是熱替換過程中可能有短暫的推理中斷；三是新模型可能不兼容舊版本的數據格式。我們的解決方案是：模型文件用差分更新減少傳輸量，熱替換用雙緩衝機制保證無縫切換，版本管理上做向前兼容。

編程題：設計一個簡單的邊緣推理服務，支持模型加載、推理和熱更新。

這道題偏系統設計，我寫了個Python的類框架，包括模型加載、推理接口、熱更新方法，用了線程鎖保證並發安全。面試官讓我考慮異常處理，我加了模型加載失敗回滾和推理超時保護。

三面：項目深挖+系統設計（約85分鐘）

三面是部門技術負責人面的，風格更偏向架構和系統思維。

問題1：你在AIoT項目中最有挑戰性的技術問題是什麼？怎麼解決的？

我講了一個實際案例：我們在一個智慧園區項目中，需要在50多個攝像頭上同時跑人臉檢測和行人跟蹤，但邊緣服務器的算力有限。我的解決方案是：第一，用模型蒸餾把YOLOv5s壓縮成一個小模型，mAP只降了2%但速度快了3倍；第二，實現了動態調度策略，根據每個攝像頭的場景複雜度分配不同的推理頻率；第三，用ROI編碼減少數據傳輸量。最終在同樣的硬體上支持了50路攝像頭，整體延遲控制在200ms以內。

問題2：如果讓你從零設計一個AIoT平台，你會怎麼設計？

這個問題很開放，我從五個層次來設計：設備層（傳感器+邊緣網關）、通信層（MQTT+CoAP）、邊緣計算層（模型推理+數據預處理）、雲端層（數據存儲+模型訓練+設備管理）、應用層（可視化+告警+API）。重點講了邊緣計算層的設計：用K3s做容器編排，模型推理用統一的推理服務封裝，支持多硬體後端（GPU/NPU/CPU），設備管理用Device Shadow模式。面試官追問了K3s在邊緣端的資源開銷問題，我說K3s相比K8s內存佔用少很多，約512MB就能跑起來，但確實還是有一定開銷，如果設備資源極度受限可以考慮更輕量的方案。

問題3：AIoT場景下數據安全和隱私保護怎麼做？

我說了幾個方面：傳輸加密（TLS/DTLS）、數據脫敏（人臉模糊化處理後再上傳）、聯邦學習（邊緣端訓練只上傳模型梯度不上傳原始數據）、差分隱私（在數據中加噪聲保護個體隱私）。面試官對聯邦學習很感興趣，追問了具體實現，我說我們在一個項目中用FedAvg算法做了跨園區的模型聯合訓練，每個園區只上傳模型參數，雲端聚合後下發新模型，既保護了數據隱私又提升了模型泛化能力。

問題4：你對曠視的AIoT業務有什麼了解？你覺得最大的技術挑戰是什麼？

我說曠視的AIoT主要聚焦在城市物聯網和供應鏈物聯網兩個方向，核心優勢是算法能力強、場景理解深。我覺得最大的技術挑戰是規模化部署——從幾個攝像頭到幾萬個攝像頭的規模跨越，對系統的可靠性、可維護性和成本控制都提出了極高要求。面試官點了點頭，說這確實是他們一直在攻克的方向。

真題匯總

1. 邊緣硬體平台選型考慮因素

2. 模型量化PTQ與QAT的區別與流程

3. 結構化剪枝vs非結構化剪枝

4. INT8量化函數實現

5. AIoT系統整體架構設計

6. MQTT與HTTP在IoT場景的對比

7. 嵌入式設備輕量級目標檢測系統

8. 邊緣端模型熱更新方案

9. 多路攝像頭並發推理優化

10. AIoT平台從零設計方案

11. AIoT數據安全與隱私保護

12. 聯邦學習在AIoT中的應用

心得建議

曠視的AIoT面試非常注重工程實踐能力，純理論是遠遠不夠的。幾點建議：

1. 一定要有實際項目經驗：曠視的面試官特別看重你有沒有真正做過AIoT項目，很多問題都是基於實際場景的，沒有實踐經驗根本答不好。建議自己搭一個簡單的邊緣推理系統，哪怕是用樹莓派跑一個YOLO也行。

2. 模型壓縮要能落地：不只是知道量化、剪枝、蒸餾的概念，還要能說出具體的實現流程、精度影響和工程trade-off。面試官會追問細節，準備的時候最好自己動手做一遍。

3. 系統設計能力很重要：三面基本是系統設計，需要從全局角度思考問題。建議多看一些AIoT平台的架構設計文章，理解分層解耦、微服務、容器化等概念在邊緣場景的應用。

4. 關注物聯網協議和通信：MQTT、CoAP這些協議雖然不難，但面試官會問得很細，包括QoS級別、報文格式、連接管理等等，需要真正理解而不是只記住名字。

FAQ

Q：曠視AIoT工程師的日常工作內容是什麼？

A：主要負責AI算法在邊緣設備上的部署和優化，包括模型壓縮、推理加速、邊緣服務開發，以及和雲端平台的對接。需要同時具備算法和工程開發能力。

Q：面試對算法能力要求高嗎？

A：中等，不需要刷很多LeetCode，但基本的編程能力和算法素養要有。更看重工程能力和系統思維。

Q：沒有IoT經驗可以投嗎？

A：可以，但至少要有模型部署或嵌入式開發的經驗。IoT協議方面的知識可以快速補，但工程能力需要積累。

Q：曠視AIoT的技術棧是什麼？

A：邊緣端主要用C++和Python，推理框架用自研的+NCNN/TensorRT，雲端用Go和Java，容器化用K8s/K3s，通信用MQTT和gRPC。

Q：面試結果多久出來？

A：我是一面後4天約二面，二面後3天約三面，三面後一週出結果，整個流程大概兩週半。