言語エージェントと非言語エージェントの協調の探求

要旨

LLMは、複雑なタスクを自然言語で解決するために、専門化されたサブエージェントを統括するオーケストレーターとして、ますます広く利用されている。しかし、ゲームプレイやロボティクスといった多くの重要な領域では、利用可能な最強のエージェントは言語モデルではない。非言語エージェントをLLMと統合するには言語化、すなわち、各相互作用ステップにおいて、エージェントの豊かな連続表現を疎なテキスト要約へと圧縮することが必要となる。言語化がボトルネックとなるかどうかを調べるため、我々はLLAMIA-Benchを導入する。これは、行動模倣、状態評価、自然言語による説明という3つの側面にわたる、6つの多様な協調チェスタスクからなるベンチマーク群である。各タスクは、LLMにもチェスエンジンにも単独では解けない、確立されたチェスの問題を具体化している。 LLMと非言語エージェントの協調を実現するため、我々は潜在状態の内在化を導入する。これは、サブエージェントの連続表現を学習済み状態トークンとしてLLMのトークンストリームに直接投影し、アクションが環境状態を進めるのに応じて動的に再符号化する手法である。内在化と言語化による統合を比較した実験では、一貫した言語化負債が明らかになった。すなわち、性能ギャップはトレーニングの進行とともに拡大し、LLMを4Bから14Bパラメータへスケールアップしても持続する。潜在状態の内在化で学習された単一の14BモデルLLAMIAは、ベンチマークの全タスクにおいて、ツールアクセスを備えたGPT-5.1を含むタスク特化型エキスパートやフロンティアモデルに匹敵するかそれを上回り、タスク特化型ファインチューニングが崩壊する分布外設定でも汎化する。

English

LLMs are increasingly deployed as orchestrators that coordinate specialized subagents to solve complex tasks through natural language. However, in many important domains like game playing and robotics, the strongest available agents are not language models. Integrating non-language agents with LLMs would require verbalization: compressing their rich continuous representations into sparse textual summaries at each interaction step. To study whether verbalization constitutes a bottleneck, we introduce LLAMIA-Bench, a suite of six diverse collaborative chess tasks spanning three facets: behavioral imitation, state assessment, and natural-language explanation. Each task instantiates a well-established chess problem that neither the LLM nor the chess engine can solve alone. To solve LLM collaboration with non-language agents, we introduce latent state internalization, which projects the subagent's continuous representations directly into the LLM's token stream as learned state tokens, with dynamic re-encoding as actions advance the environment state. Comparing internalization to verbalized integration, our experiments reveal a consistent verbalization debt: the performance gap widens throughout training and persists as the LLM scales from 4B to 14B parameters. A single 14B model, LLAMIA, trained with latent state internalization, matches or exceeds task specialists and frontier models including GPT-5.1 with tool access across all benchmark tasks, and generalizes out-of-distribution where task-specific finetunes collapse