멀티헤드 잠재 제어: LLM 에이전트 의사 결정을 위한 통합 인터페이스

초록

대규모 언어 모델이 점차 에이전트로 배치되고 있지만, 신뢰할 수 있는 에이전트 동작을 위해서는 단순한 다음 토큰 예측 이상이 필요하다. 추론 시점에서 에이전트는 현재 추론을 계속 진행할지, 더 강력한 모델로 위임할지, 추가 정보를 요청할지, 외부 도구를 호출할지, 아니면 주어진 설정 하에서 기권할지를 결정할 수 있는 것이 바람직하다. 기존 접근 방식은 이러한 결정을 프롬프트 수준 라우팅, 외부 오케스트레이션 또는 작업별 미세 조정을 통해 처리하는데, 이들은 주로 입력 측 신호에 의존하며, 모델 백본이 발전함에 따라 비용이 많이 들고 유지 관리가 어려운 경우가 많다. 우리는 이러한 제어 결정이 모델의 잠재 생성 과정에서 직접 추론될 수 있는지 묻는다. 본 논문에서는 다중 헤드 잠재 제어(Multi-Head Latent Control)를 소개한다. 이는 경량 계층으로, 고정된 LLM 또는 VLM의 은닉 상태 궤적을 읽어 배포 시점의 제어 신호를 생성한다. 능력 헤드(Capability Head)는 현재 모델이 인스턴스를 해결할 수 있는지, 아니면 더 강력한 협력자에게 위임해야 하는지를 예측하고, 해결 헤드(Resolution Head)는 명확화, 도구 사용, 기권, 직접 응답 중 적절한 해결 결정을 예측한다. 두 헤드는 동일한 고정된 LLM 백본의 잠재 흔적만으로 학습되므로, 모델을 수정하지 않고도 사후 적응이 가능하다. 언어 및 언어-비전 설정에서 다중 헤드 잠재 제어는 다중 모델 시스템의 품질-비용 균형을 지속적으로 개선하여, 부분 생성에서의 조기 인계와 더 정확한 개입 결정을 가능하게 한다. 라우팅 실행(소형 모델 + 대형 모델)에서 AndroidWorld의 경우 대규모 모델 사용량을 최대 90.7%까지 줄였으며, 벤치마크 평균적으로 27~53% 감소시키면서도 대규모 모델 성능의 대부분을 유지했다. 또한, 학습된 제어 신호는 도구 사용 결정 품질을 향상시켜 최대 +158%의 상대 점수 향상과 65.5%의 필요 도구 호출 누락 감소를 달성했다.

English

Large language models are increasingly deployed as agents, but reliable agentic behavior requires more than next-token prediction. At inference time, it is preferred that an agent can decide whether to proceed with its current reasoning, defer to a stronger model, request additional information, invoke external tools, or abstain under the given setup. Existing approaches address these decisions through prompt-level routing, external orchestration, or task-specific fine-tuning, which primarily rely on input-side signals, and are often costly and difficult to maintain as model backbones evolve. We ask whether such control decisions can be inferred directly from a model's latent generation process. We introduce Multi-Head Latent Control, a lightweight layer that reads hidden-state trajectories from a frozen LLM or VLM to produce deployment-time control signals. A Capability Head predicts whether the current model can solve the instance or should defer to a stronger collaborator, while a Resolution Head predicts appropriate resolution decision Clarification, Tool Use, Abstention, or Direct Answering. Both heads are trained only on latent traces from the same frozen LLM backbone, enabling post hoc adaptation without modifying the model. Across language and vision-language settings, Multi-Head Latent Control consistently improves the quality-cost tradeoff of multi-model systems, enabling early handoff from partial generations and more accurate intervention decisions. In routed execution (small + large model), it reduces large-model usage by up to 90.7 percent on AndroidWorld and 27-53 percent on average across benchmarks, while retaining most of large-model performance. Additionally, the learned control signals improve tool-use decision quality, yielding up to +158 percent relative score gain and 65.5 percent fewer missed-required tool calls.