Anthropic LLMエンジニア面接体験記：Claudeチームの実際の面接問題

背景紹介

2021年に修士号を取得し、自然言語処理を専攻していました。卒業後はスマートカスタマーサービスの企業で3年間NLP関連の仕事に従事しました。最初のBERTテキスト分類から、対話システム、そして大規模モデルへの接触まで、NLP分野の事前学習モデルから大規模モデルへの移行を完全に経験しました。今年の初めに転職を決意し、NTTコミュニケーションズのClaudeチームのLLMエンジニアポジションを第一志望としました。大規模言語モデルのパイオニアチームであり、技術的な蓄積とエンジニアリング経験が豊富だからです。

元同僚のリファラルで応募し、約5日後にHRから電話があり、第一次面接の日程調整がありました。全体のプロセスは3回の技術面接と1回のHR面接で、2週間強で完了しました。面接のスタイルは実務的で、基礎原理を重視し、詳細を深く掘り下げる傾向がありました。

面接プロセスの振り返り

一次面接：Transformerの原理（約65分）

一次面接の面接官はClaudeチームの技術リードで、30代前半の方でした。挨拶なしで直接質問に入るスタイルで、効率的で私は好きでした。

1. Transformerの全体アーキテクチャ

マクロからミクロまでTransformerのアーキテクチャを説明するよう求められました。Encoder-Decoder構造から始め、Self-Attention、Feed-Forward Network、残余接続、Layer Normalizationなどの核心コンポーネントを説明しました。面接官はPre-LNとPost-LNの違いを追問し、Pre-LNは先に正規化してからサブレイヤーに入るため訓練が安定するが効果がやや劣る可能性、Post-LNはサブレイヤーに入ってから正規化する元論文の方法で訓練は不安定だが効果が良い可能性があると説明しました。

2. Multi-Head Attentionの計算過程

Multi-Head Attentionの計算式を詳細に書くよう求められました。QKVの線形投影から、ヘッドごとのAttention計算、連結と出力投影まで、各ステップを明確にする必要がありました。面接官はなぜマルチヘッドが必要かを追問し、異なるヘッドが異なる部分空間の意味情報を捉えられると答えました。

3. 位置エンコーディングの進化

元のTransformerのサイン位置エンコーディングから、学習可能位置エンコーディング、RoPE回転位置エンコーディング、ALiBiまで説明しました。面接官はRoPEの原理に焦点を当て、回転行列を通じて位置情報をQとKのドット積に組み込み、Attention Scoreに相対位置情報が自然に含まれるようにすると説明しました。しかし、RoPEの長さ外挿問題については十分に答えられず、NTK-aware補間とYaRNに言及しただけで詳細を説明できませんでした。

4. BERTとGPTの違い

事前学習タスク（MLM vs CLM）、アーキテクチャ（Encoder-only vs Decoder-only）、適用タスク（理解 vs 生成）の観点から比較しました。面接官はGPTがDecoder-onlyアーキテクチャを選択した理由を追問し、自己回帰生成の自然さと訓練効率の観点から説明しました。

5. アルゴリズム問題

BPEの考え方に従ってサブワードをマージする簡略版Tokenizerを実装する問題。標準的なLeetCode問題ではなく、予想外でした。約20分かけて実装し、アプローチは正しかったがコードは洗練されていませんでした。面接官は論理は問題ないと言い、マージ戦略の最適化を求めました。

一次面接は全体的にまずまずでした。Transformer関連の知識は十分に準備していましたが、RoPEの詳細は確かに不十分で、復習が必要でした。

二次面接：LLM訓練と推論最適化（約80分）

二次面接はチームのテックリードでした。一次とは全く異なるスタイルで、エンジニアリング実践とシステム設計に重点を置き、よりオープンな質問でした。

1. 大規模モデルの訓練パイプライン

事前学習からRLHFまでの完全なパイプラインを説明するよう求められました。大規模コーパスの事前学習（Next Token Prediction）から、SFT教師ありファインチューニング、RM報酬モデル訓練、最後にPPO強化学習アライメントまで説明しました。面接官はDPOのPPOに対する利点を追問し、DPOは別途報酬モデルを訓練する必要がなく、嗜好データで直接訓練できるためよりシンプルで効率的だが、PPOほど柔軟ではない可能性があると答えました。

2. 分散訓練戦略

データ並列、モデル並列、パイプライン並列の違いと適用シナリオについて質問されました。それぞれの原理を詳細に説明し、組み合わせて使用する方法も説明しました。面接官は3D並列（データ+モデル+パイプライン並列の組み合わせ）について特に質問しました。またMegatron-LMのTP通信量分析についても質問されましたが、大まかな原理しか知らず、詳細が不十分でした。

3. KV Cacheと推論高速化

重要な問題でした。KV Cacheの原理は明確に説明できました：自己回帰生成時、前のトークンのKeyとValueをキャッシュすることで重複計算を避け、推論の複雑さをO(n²)からO(n)に削減します。面接官はKV Cacheのメモリ使用量と、MQA（Multi-Query Attention）とGQA（Grouped-Query Attention）による削減方法を追問しました。MQAはすべてのヘッドが1組のKVを共有し、GQAはグループ内で共有し、効果と効率のバランスを取ります。

4. 量子化技術

PTQとQATの違い、INT8/INT4量子化の精度損失について質問されました。LLM.int8()、GPTQ、AWQなどの量子化方法とそれぞれの長所短所を挙げました。面接官は量子化がモデル能力に与える影響について追問し、単純なタスクでは影響が小さく、複雑な推論タスクでは影響が大きく、特に数学的推論で顕著だと答えました。

5. システム設計問題

高並列・低遅延をサポートする大規模モデル推論サービスを設計する問題。モデルサービング（vLLM/TGI）、バッチ処理戦略（Continuous Batching）、メモリ管理（PagedAttention）、負荷分散の観点から設計しました。面接官はPagedAttentionに非常に興味を持ち、仮想メモリ管理のアプローチについて詳細に説明するよう求めました。

二次面接は最も収穫のあるラウンドでした。面接官の質問は深く、記憶していることをテストするのではなく、思考を導いてくれました。

三次面接：RAG+Agent設計（約70分）

三次面接は部門ディレクターで、オープンなディスカッションのスタイルで、技術的視野とプロダクト思考を重視していました。

1. RAGシステムの設計

エンタープライズグレードのRAGシステムを設計するよう求められました。ドキュメント解析、チャンク戦略、ベクトル化、インデックス構築、検索戦略、リランキング、プロンプト組み立て、回答生成の各段階を詳細に説明しました。面接官はいくつかの重要なポイントを追問しました：

- チャンク戦略の選び方は？固定長、意味的チャンク、再帰的チャンクなどの方法と適用シナリオを挙げました。

- 検索効果が良くない場合は？ハイブリッド検索（ベクトル+キーワード）、クエリ書き換え、HyDEなどの最適化方法を挙げました。

- ハルシネーションの対処法は？引用のトレーサビリティ、事実検証、マルチパス検証などの方法を挙げました。

2. Agentの設計アプローチ

Agentの核心コンポーネントと設計パターンについて質問されました。ReAct（Reasoning+Acting）、Tool Use、Planning、Memoryなどの核心概念を説明しました。面接官は具体的なシナリオのAgentを設計するよう求め、データ分析Agentをツール定義、タスク分解、実行フロー、エラー処理の観点から設計しました。

3. プロジェクト深掘り

以前取り組んだ対話システムプロジェクトについて、技術選定から運用まで全プロセスを説明するよう求められました。面接官は特にモデル評価について詳細に質問し、対話品質の評価方法について、自動評価（BLEU、ROUGE）と人手評価の組み合わせを説明しましたが、面接官はこれらの指標では不十分だと考え、より良い評価方法を考えるよう求めました。LLM-as-Judgeのアプローチ、GPT-4を使って対話品質を評価する方法を提案しました。

4. 大規模モデルの将来についての見解

オープンエンドの質問で、MoEアーキテクチャ、長コンテキスト、マルチモーダル融合、エッジデプロイの方向について議論しました。面接官はエッジデプロイに興味を持っており、モデル圧縮とハードウェア適応の課題について議論しました。

三次面接は雰囲気が良く、技術的な交流に近い感覚でした。面接官も自身の考えを共有し、一方通行の評価ではありませんでした。

実際の面接問題

一次面接：

1. Transformerアーキテクチャの詳細説明

2. Multi-Head Attentionの計算過程

3. 位置エンコーディングの進化（サイン→RoPE→ALiBi）

4. BERTとGPTの違い

5. プログラミング：簡略版BPE Tokenizerの実装

二次面接：

1. LLM訓練の完全パイプライン（事前学習→SFT→RLHF/DPO）

2. 分散訓練戦略（DP/MP/PP/3D並列）

3. KV Cacheの原理とMQA/GQA最適化

4. 量子化技術（PTQ/QAT/LLM.int8()/GPTQ/AWQ）

5. システム設計：LLM推論サービス

三次面接：

1. エンタープライズグレードRAGシステム設計

2. Agent設計アプローチ（ReAct/Tool Use/Planning）

3. プロジェクト経験の深掘り

4. 大規模モデルの将来の方向性

心得とアドバイス

1. Transformerを完全に理解する

LLMポジションの面接では、Transformerは避けて通れません。公式を暗記するだけでなく、各設計選択の背後にある理由を理解する必要があります。なぜマルチヘッドなのか、なぜスケーリングするのか、なぜRoPEなのか、これらを明確に説明できなければなりません。

2. エンジニアリング能力も同様に重要

Claudeチームの面接はエンジニアリング能力を非常に重視しています。二次面接のシステム設計問題は、モデルを実際に動かし、サービスできるかどうかをテストします。APIを呼び出すだけでは不十分で、基礎原理を理解する必要があります。

3. 最先端技術に注目する

RAG、Agent、量子化、推論高速化は、現在LLM分野のホットトピックです。面接で必ず聞かれるので、論文を読み、実践し、自分なりの理解と洞察を持つことをお勧めします。

4. プロジェクトについて説明できるように準備する

プロジェクト経験は三次面接の重点です。技術選定、実装の詳細、効果評価、教訓の観点からプロジェクトを説明できなければなりません。面接官は深く掘り下げるので、履歴書で誇張しないでください。

FAQ

Q：Claudeチームの面接に論文要件はありますか？

A：必須ではありませんが、トップ会議の論文は確実にプラスになります。エンジニアリング能力と技術理解の深さがより重視されます。

Q：プログラミング問題はありますか？

A：はい、必ずしもLeetCodeスタイルではありません。NLP/LLMに関連する実装問題、例えばTokenizerやAttention計算などが多いです。

Q：LLM訓練の経験がなくても面接を受けられますか？

A：はい、少なくともLLM APIの使用経験と訓練パイプラインの理論的理解が必要です。LLMに全く触れたことがない場合は、まずファインチューニングのプロジェクトを行うことをお勧めします。

Q：面接の不合格率は高いですか？

A：私の知る限り、各技術ラウンドで不合格者がおり、全体の合格率は高くありません。ただし、十分な準備と確かな基礎があれば、合格のチャンスはまだ十分にあります。

Q：面接結果はどのくらいで出ますか？

A：各ラウンドの後2〜3日で結果が出ます。全体のプロセスは2〜3週間です。一部の企業よりやや遅いですが、許容範囲内です。