Het uitbreiden van de actieruimte van LLM's om verder te redeneren dan taal

Expanding the Action Space of LLMs to Reason Beyond Language

October 8, 2025

Auteurs: Zhongqi Yue, Weishi Wang, Yundaichuan Zhan, Juncheng Li, Daniel Dahlmeier, Fredrik D. Johansson

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) zijn krachtige redeneerders in natuurlijke taal, maar hun acties zijn doorgaans beperkt tot het uitvoeren van vocabulaire tokens. Hierdoor moeten interacties met externe omgevingen — zoals symbolische operatoren of simulatoren — worden uitgedrukt via tekst in vooraf gedefinieerde formaten, worden geparsed en worden doorgestuurd naar externe interfaces. Dit belast het taalgebruik van het model met zowel redeneer- als controle taken en vereist een handmatig gemaakte parser, extern aan het LLM. Om dit aan te pakken, ontkoppelen we omgevingsinteracties van taal door ze te internaliseren in een Uitgebreide Actieruimte (ExpA), buiten het vocabulaire. Het model begint te redeneren in de standaard taalomgeving, maar kan op elk moment routeringsacties activeren en overschakelen naar een externe omgeving. Vanaf daar kan het model alleen omgevingsspecifieke acties aanroepen, feedback ontvangen van de omgeving en mogelijk terugrouteren naar taal als resultaat. Om effectieve verkenning van de uitgebreide actieruimte en nieuwe omgevingen te bevorderen, introduceren we ExpA Reinforcement Learning (EARL) met contrafeitelijke beleidsoptimalisatie. Bij taken die multi-turn interacties en contingent plannen vereisen, presteert EARL beter dan sterke baseline-modellen met vocabulaire-beperkte acties. Het presteert robuust in calculator-gebaseerd multi-task leren en bereikt in het gedeeltelijk waargenomen sorteervraagstuk een perfecte Sort-4 nauwkeurigheid terwijl het zelf een efficiënt algoritme ontdekt dat competitief is met klassieke ontwerpen.

English

Large Language Models (LLMs) are powerful reasoners in natural language, but their actions are typically confined to outputting vocabulary tokens. As a result, interactions with external environments -- such as symbolic operators or simulators -- must be expressed through text in predefined formats, parsed, and routed to external interfaces. This overloads the model's language with both reasoning and control duties, and requires a hand-crafted parser, external to the LLM. To address this, we decouple environment interactions from language by internalizing them in an Expanded Action space (ExpA), beyond the vocabulary. The model starts reasoning in the default language environment, but may trigger routing actions and switch to an external environment at any time. From there, the model can only invoke environment-specific actions, receive feedback from the environment, and potentially route back to language as a result. To promote effective exploration of the expanded action space and new environments, we introduce ExpA Reinforcement Learning (EARL) with counterfactual policy optimization. On tasks requiring multi-turn interactions and contingent planning, EARL outperforms strong baselines with vocabulary-constrained actions. It performs robustly across calculator-based multi-task learning and, in the partially observed sorting problem, achieves perfect Sort-4 accuracy while self-discovering an efficient algorithm competitive with classical designs.