Ampliare lo spazio d'azione dei LLM per ragionare oltre il linguaggio

Expanding the Action Space of LLMs to Reason Beyond Language

October 8, 2025

Autori: Zhongqi Yue, Weishi Wang, Yundaichuan Zhan, Juncheng Li, Daniel Dahlmeier, Fredrik D. Johansson

cs.AI

Abstract

I Large Language Model (LLM) sono potenti ragionatori nel linguaggio naturale, ma le loro azioni sono tipicamente limitate all'emissione di token lessicali. Di conseguenza, le interazioni con ambienti esterni — come operatori simbolici o simulatori — devono essere espresse attraverso testi in formati predefiniti, analizzati e indirizzati a interfacce esterne. Ciò sovraccarica il linguaggio del modello con compiti sia di ragionamento che di controllo e richiede un parser creato manualmente, esterno all'LLM. Per affrontare questo problema, disaccoppiamo le interazioni con l'ambiente dal linguaggio internalizzandole in uno Spazio di Azione Espanso (ExpA), al di là del vocabolario. Il modello inizia a ragionare nell'ambiente linguistico predefinito, ma può attivare azioni di routing e passare a un ambiente esterno in qualsiasi momento. Da lì, il modello può solo invocare azioni specifiche per l'ambiente, ricevere feedback dall'ambiente e potenzialmente tornare al linguaggio come risultato. Per promuovere un'esplorazione efficace dello spazio di azione espanso e dei nuovi ambienti, introduciamo il Reinforcement Learning con Spazio di Azione Espanso (EARL) con ottimizzazione controfattuale delle politiche. Su compiti che richiedono interazioni multi-turno e pianificazione contingente, EARL supera i forti baseline con azioni vincolate al vocabolario. Si comporta in modo robusto nell'apprendimento multi-task basato su calcolatrice e, nel problema di ordinamento parzialmente osservato, raggiunge una precisione perfetta nel Sort-4 mentre scopre autonomamente un algoritmo efficiente competitivo con i design classici.

English

Large Language Models (LLMs) are powerful reasoners in natural language, but their actions are typically confined to outputting vocabulary tokens. As a result, interactions with external environments -- such as symbolic operators or simulators -- must be expressed through text in predefined formats, parsed, and routed to external interfaces. This overloads the model's language with both reasoning and control duties, and requires a hand-crafted parser, external to the LLM. To address this, we decouple environment interactions from language by internalizing them in an Expanded Action space (ExpA), beyond the vocabulary. The model starts reasoning in the default language environment, but may trigger routing actions and switch to an external environment at any time. From there, the model can only invoke environment-specific actions, receive feedback from the environment, and potentially route back to language as a result. To promote effective exploration of the expanded action space and new environments, we introduce ExpA Reinforcement Learning (EARL) with counterfactual policy optimization. On tasks requiring multi-turn interactions and contingent planning, EARL outperforms strong baselines with vocabulary-constrained actions. It performs robustly across calculator-based multi-task learning and, in the partially observed sorting problem, achieves perfect Sort-4 accuracy while self-discovering an efficient algorithm competitive with classical designs.