언어 에이전트와 비언어 에이전트 간의 협업 탐구

초록

LLM은 점점 더 자연어를 통해 특수화된 서브에이전트들을 조정하여 복잡한 작업을 해결하는 오케스트레이터로 배치되고 있다. 그러나 게임 플레이와 로보틱스 같은 많은 중요한 영역에서 가장 강력한 에이전트는 언어 모델이 아니다. 비(非)언어 에이전트와 LLM을 통합하려면 언어화(verbalization), 즉 각 상호작용 단계에서 풍부한 연속 표현을 희소한 텍스트 요약으로 압축하는 과정이 필요하다. 언어화가 병목 현상을 구성하는지 연구하기 위해, 우리는 행동 모방, 상태 평가, 자연어 설명이라는 세 가지 측면을 포괄하는 여섯 가지 다양한 협력적 체스 작업으로 구성된 벤치마크 스위트인 LLAMIA-Bench를 소개한다. 각 작업은 LLM이나 체스 엔진이 단독으로는 해결할 수 없는 잘 정립된 체스 문제를 구현한다. 비언어 에이전트와의 LLM 협력을 해결하기 위해 우리는 잠재 상태 내면화(latent state internalization)를 도입한다. 이는 서브에이전트의 연속 표현을 학습된 상태 토큰으로 LLM의 토큰 스트림에 직접 투영하며, 행동이 환경 상태를 진행시킴에 따라 동적 재인코딩을 수행한다. 내면화를 언어화 기반 통합과 비교한 실험에서 우리는 일관된 언어화 부채(verbalization debt)를 발견한다. 즉 성능 격차는 훈련 전반에 걸쳐 확대되며 LLM이 4B에서 14B 파라미터로 확장되어도 지속된다. 잠재 상태 내면화로 훈련된 단일 14B 모델인 LLAMIA는 모든 벤치마크 작업에서 도구 접근이 가능한 GPT-5.1을 포함한 프론티어 모델 및 작업별 전문가 모델과 동등하거나 더 나은 성능을 달성하며, 작업별 파인튜닝이 붕괴하는 분포 외(out-of-distribution) 상황에서도 일반화 능력을 보인다.

English

LLMs are increasingly deployed as orchestrators that coordinate specialized subagents to solve complex tasks through natural language. However, in many important domains like game playing and robotics, the strongest available agents are not language models. Integrating non-language agents with LLMs would require verbalization: compressing their rich continuous representations into sparse textual summaries at each interaction step. To study whether verbalization constitutes a bottleneck, we introduce LLAMIA-Bench, a suite of six diverse collaborative chess tasks spanning three facets: behavioral imitation, state assessment, and natural-language explanation. Each task instantiates a well-established chess problem that neither the LLM nor the chess engine can solve alone. To solve LLM collaboration with non-language agents, we introduce latent state internalization, which projects the subagent's continuous representations directly into the LLM's token stream as learned state tokens, with dynamic re-encoding as actions advance the environment state. Comparing internalization to verbalized integration, our experiments reveal a consistent verbalization debt: the performance gap widens throughout training and persists as the LLM scales from 4B to 14B parameters. A single 14B model, LLAMIA, trained with latent state internalization, matches or exceeds task specialists and frontier models including GPT-5.1 with tool access across all benchmark tasks, and generalizes out-of-distribution where task-specific finetunes collapse