マルチヘッド潜在制御：LLMエージェントの意思決定のための統一インターフェース

要旨

大規模言語モデルはエージェントとしてますます展開されているが、信頼性の高いエージェント的行動には次トークン予測以上のものが必要である。推論時には、エージェントが現在の推論を続行するか、より強力なモデルに委ねるか、追加情報を要求するか、外部ツールを呼び出すか、与えられた設定の下で棄権するかを決定できることが望ましい。既存のアプローチは、これらの決定をプロンプトレベルのルーティング、外部オーケストレーション、またはタスク固有のファインチューニングを通じて処理しており、これらは主に入力側シグナルに依存し、モデルバックボーンが進化するにつれてしばしばコストがかかり、維持が困難である。我々は、かかる制御決定がモデルの潜在的な生成プロセスから直接推論できるかどうかを問う。我々はマルチヘッド潜在制御を導入する。これは、凍結されたLLMまたはVLMから隠れ状態の軌跡を読み取り、デプロイ時制御信号を生成する軽量な層である。能力ヘッドは、現在のモデルがインスタンスを解決できるか、より強力な協力者に委ねるべきかを予測し、解決ヘッドは適切な解決決定（明確化、ツール使用、棄権、直接回答）を予測する。両ヘッドは同じ凍結されたLLMバックボーンからの潜在トレースのみで訓練され、モデルを変更することなく事後適応を可能にする。言語設定および視覚言語設定において、マルチヘッド潜在制御はマルチモデルシステムの品質とコストのトレードオフを一貫して改善し、部分的な生成からの早期ハンドオフとより正確な介入決定を可能にする。ルーティング実行（小規模＋大規模モデル）では、AndroidWorldで大規模モデルの使用率を最大90.7%削減し、ベンチマーク全体で平均27～53%削減しつつ、大規模モデルの性能の大部分を維持する。さらに、学習された制御信号はツール使用決定の品質を向上させ、相対スコアで最大+158%の向上と、必要なツール呼び出しの見逃しを65.5%削減する。

English

Large language models are increasingly deployed as agents, but reliable agentic behavior requires more than next-token prediction. At inference time, it is preferred that an agent can decide whether to proceed with its current reasoning, defer to a stronger model, request additional information, invoke external tools, or abstain under the given setup. Existing approaches address these decisions through prompt-level routing, external orchestration, or task-specific fine-tuning, which primarily rely on input-side signals, and are often costly and difficult to maintain as model backbones evolve. We ask whether such control decisions can be inferred directly from a model's latent generation process. We introduce Multi-Head Latent Control, a lightweight layer that reads hidden-state trajectories from a frozen LLM or VLM to produce deployment-time control signals. A Capability Head predicts whether the current model can solve the instance or should defer to a stronger collaborator, while a Resolution Head predicts appropriate resolution decision Clarification, Tool Use, Abstention, or Direct Answering. Both heads are trained only on latent traces from the same frozen LLM backbone, enabling post hoc adaptation without modifying the model. Across language and vision-language settings, Multi-Head Latent Control consistently improves the quality-cost tradeoff of multi-model systems, enabling early handoff from partial generations and more accurate intervention decisions. In routed execution (small + large model), it reduces large-model usage by up to 90.7 percent on AndroidWorld and 27-53 percent on average across benchmarks, while retaining most of large-model performance. Additionally, the learned control signals improve tool-use decision quality, yielding up to +158 percent relative score gain and 65.5 percent fewer missed-required tool calls.