Preferred Networks AIアプリケーション開発者面接体験記：RAG・エージェント・プロンプトエンジニアリングの完全評価
AIアプリケーション開発経験2年の方がPreferred NetworksのAIアプリケーション開発者ポストに面接。プロンプトエンジニアリング、RAGアーキテクチャと最適化、エージェントフレームワーク設計を網羅した3回の技術面接の詳細な振り返り
背景紹介
AIアプリケーション開発の経験は2年あります。以前はスタートアップ企業でインテリジェントカスタマーサービスとナレッジベース製品の開発に携わり、主にGPTのAPIを用いて対話システムやドキュメントQAを構築していました。LLMアプリケーション層が爆発的に普及してから、RAGやエージェントの方向性を研究し続け、オープンソースプロジェクトもいくつか手がけました。Preferred NetworksがAIアプリケーション開発者を募集しているのを見つけ、非常に適していると思い応募しました。3日で面接が設定され、非常に効率的でした。
面接プロセスの振り返り
一次面接：LLM基礎 + プロンプトエンジニアリング（約1時間）
一次面接の面接官は比較的若く、おそらくチームのコア開発者でした。LLMアプリケーション開発に対する私の理解を少し話した後、すぐに技術的な質問に入りました。
最初の質問：LLMのTemperatureパラメータは生成結果にどのような影響を与えますか？これは比較的基本的で、Temperatureが高いほど生成がランダムに、低いほど確定的になることを説明し、top-pサンプリングとの併用についても補足しました。面接官は高いTemperatureと低いTemperatureをそれぞれどのような場面で使うべきかとフォローアップし、創作的な生成には高く、事実に基づくQAには低くすると答えると、頷いてくれました。
次はプロンプトエンジニアリングの実践問題：テキストから構造化情報を抽出する要件が与えられた場合、プロンプトをどう設計しますか？その場でFew-shotプロンプトを書き、役割設定、出力フォーマット要件、例を含めました。面接官はモデルの出力フォーマットが不安定な場合どうするかと聞き、JSON Mode、フォーマット制約の追加、後処理フォールバックを提案しました。
また興味深い質問もありました：Chain-of-ThoughtとTree-of-Thoughtの違いは？推論経路の広さと深さの観点から比較し、CoTは線形推論、ToTは木構造探索だと説明しました。フォローアップでToTがCoTより適している場面は？と聞かれ、数学的証明やゲーム戦略など、多段階の探索とバックトラッキングが必要な複雑な推論タスクだと答えました。
最後はエンジニアリングの質問：LLM APIのレート制限をどう処理しますか？トークンバケットアルゴリズム、リクエストキュー、マルチキーローテーション、デグラデーション戦略を説明し、面接官はアプローチが包括的だと評価しました。
二次面接：RAG + ベクトルデータベース（約1.5時間）
二次面接の面接官はRAG分野の技術専門家で、非常に深い質問がありました。
開始早々：RAGシステムのアーキテクチャを完全に説明してください。ドキュメント解析、チャンク分割、ベクトル化、インデックス構築、検索、リランキング、生成まで順に説明しました。面接官は各段階で詳細をフォローアップしました。
ドキュメントのチャンク分割戦略には何がありますか？チャンクサイズをどう決定しますか？固定サイズチャンク、セマンティックチャンク、再帰チャンクのいくつかの方法を紹介し、チャンクサイズはモデルのコンテキスト長と検索精度のトレードオフで決まると説明しました。面接官はチャンク分割時にセマンティックな完全性をどう保つかとフォローアップし、文境界での分割、オーバーラップ領域の追加、メタデータ注釈の方法を説明しました。
ベクトルデータベースはどう選定しますか？Milvus、Pinecone、Weaviateの特徴は？オープンソース/マネージド、パフォーマンス、エコシステムの観点から比較しました。面接官は特にMilvusのインデックスタイプの選択に興味があり、IVF_FLAT、IVF_SQ8、HNSWのそれぞれの適用シナリオを説明すると、満足そうでした。
そして本題：RAGの検索リコール率が低い場合、どう最適化しますか？ハイブリッド検索（ベクトル+キーワード）、クエリ書き換え、マルチパスリコール、リランキングモデルのいくつかの方向を挙げました。面接官はハイブリッド検索に特に興味を持ち、ベクトル検索とBM25検索の融合方法を詳しく説明するよう求めました。Reciprocal Rank Fusion（RRF）と加重融合の2つの方法を説明しました。
また非常に実践的な質問もありました：ユーザーのクエリとドキュメントのセマンティックギャップが大きい場合、どう処理しますか？Query Rewrite、HyDE（仮想的ドキュメント埋め込み）、マルチステップ検索を説明しました。面接官はさらにHyDEの原理とリスクをフォローアップし、LLMでまず仮想的な回答を生成してから検索する方法と、仮想的な回答が誤解を招く可能性があるリスクを説明しました。
三次面接：エージェント + プロジェクト深掘り（約1.5時間）
三次面接はチームリーダーで、エージェントアーキテクチャとプロジェクト経験について話しました。
エージェントについての理解は？通常のLLM呼び出しとどう違いますか？エージェントのコアは自律的な意思決定とツール使用であり、計画、実行、振り返りのループがあると説明しました。通常の呼び出しはワンショットです。面接官はReActフレームワークの原理をフォローアップし、Reasoning + Actingの交互プロセスを詳しく説明しました。
エージェントのツール呼び出しはどう設計しますか？Function Callingのインターフェース設計、ツール説明の記述、マルチツールオーケストレーションについて説明しました。面接官は非常に重要な質問をしました：エージェントが間違ったツールを選択した場合どうしますか？ツール選択の振り返りメカニズムの追加、人間の確認ステップ、ツール使用の制約条件を提案しました。
プロジェクト深掘りのセクションでは、私が構築したナレッジベースQAプロジェクトについて説明するよう求められました。面接官は非常に詳細に聞いてきました：ドキュメント量は？検索レイテンシは？精度をどう評価したか？ユーザーフィードバックは？一つ一つ回答し、プロジェクトでの失敗経験も自発的に共有しました。例えば、長いドキュメントのチャンク分割後のコンテキスト喪失問題を、メタデータ拡張とコンテキストウィンドウ拡張で解決したことなどです。
最後はシステム設計問題：マルチターン対話、マルチドキュメント、マルチモーダルをサポートするナレッジベースQAシステムを設計してください。アーキテクチャ設計、技術選定、課題分析の観点から説明しました。面接官はアプローチが明確だと言いましたが、マルチモーダル検索の精度問題とコスト管理に注意するよう促しました。
面接問題まとめ
1. Temperatureパラメータが生成結果に与える影響
2. プロンプト設計：構造化情報抽出
3. モデル出力フォーマットが不安定な場合の解決策
4. Chain-of-ThoughtとTree-of-Thoughtの違い
5. LLM APIレート制限の処理
6. RAGシステムの完全なアーキテクチャ
7. ドキュメントチャンク分割戦略とチャンクサイズの決定
8. ベクトルデータベースの選定（Milvus/Pinecone/Weaviate）
9. Milvusインデックスタイプの選択
10. RAG検索リコール率の最適化
11. ハイブリッド検索（ベクトル+キーワード）の融合方法
12. ユーザークエリとドキュメントのセマンティックギャップが大きい場合の処理
13. HyDEの原理とリスク
14. エージェントと通常のLLM呼び出しの違い
15. ReActフレームワークの原理
16. エージェントのツール呼び出し設計とエラー処理
17. マルチターン、マルチドキュメント、マルチモーダルナレッジベースQAシステムの設計
学びとアドバイス
1. プロンプトエンジニアリングは魔法ではない：体系的な方法論が必要です。役割設定、フォーマット制約、Few-shot例などのテクニックを習熟し、それぞれの適用シーンを理解することが重要です。
2. RAGはLLMアプリケーションの中核：ドキュメント処理から検索最適化まで、各段階を深く理解してください。特にハイブリッド検索とリランキングは、実際のプロジェクトで最もよく遭遇する問題です。
3. エージェントは未来の方向：現在のエージェントの信頼性はまだ十分ではありませんが、面接官はエージェントアーキテクチャの理解を重視しています。ReAct、Function Callingをしっかり理解してください。
4. エンジニアリング能力が重要：LLMアプリケーション開発はAPIを呼ぶだけではありません。並行制御、デグラデーション戦略、監視アラートなどのエンジニアリング問題も面接官に聞かれます。
5. プロジェクト経験には深みが必要：何をしたかだけでなく、どんな問題に直面したか、どう解決したか、結果はどうだったかを明確に説明してください。面接官が最も重視するのは実践的な問題解決能力です。
FAQ
Q：アルゴリズムの要件は高いですか？
A：それほど高くなく、エンジニアリングとアプリケーションに重点が置かれています。ただし、ベクトル検索の原理やソートアルゴリズムなど、基礎的なアルゴリズム知識は必要です。
Q：オンサイトでコードを書く必要はありますか？
A：一次面接ではプロンプトの記述、二次面接ではアーキテクチャ図と疑似コード、三次面接は主にシステム設計で、完全なプロジェクトコードを書く必要はありませんでした。
Q：Preferred Networksの技術スタックは？
A：面接では直接言及されませんでしたが、質問から判断すると、主にPythonで、MilvusやLangChainなどの一般的なツールを使用しているようでした。
Q：LLMの原理をどの程度深く理解する必要がありますか？
A：アプリケーション層の面接では訓練レベルの深い知識は不要ですが、Transformerの基本原理やアテンションメカニズムは理解しておくべきです。
Q：面接結果はどのくらいで出ますか？
A：各面接終了後2-3日でフィードバックがあり、全体のプロセスは約2週間で完了しました。