Erweiterung des Aktionsraums von LLMs, um über Sprache hinaus zu denken

papers.abstract

Große Sprachmodelle (LLMs) sind leistungsstarke Schlussfolgerer in natürlicher Sprache, doch ihre Handlungen beschränken sich typischerweise auf die Ausgabe von Vokabular-Tokens. Folglich müssen Interaktionen mit externen Umgebungen – wie symbolische Operatoren oder Simulatoren – in vordefinierten Textformaten ausgedrückt, geparst und an externe Schnittstellen weitergeleitet werden. Dies überlastet die Sprache des Modells mit sowohl Schlussfolgerungs- als auch Steuerungsaufgaben und erfordert einen manuell erstellten Parser, der extern zum LLM liegt. Um dies zu beheben, entkoppeln wir Umgebungsinteraktionen von der Sprache, indem wir sie in einem erweiterten Aktionsraum (ExpA) internalisieren, der über das Vokabular hinausgeht. Das Modell beginnt seine Schlussfolgerungen in der standardmäßigen Sprachumgebung, kann jedoch jederzeit Routing-Aktionen auslösen und zu einer externen Umgebung wechseln. Von dort aus kann das Modell nur umgebungsspezifische Aktionen aufrufen, Rückmeldungen von der Umgebung erhalten und gegebenenfalls als Ergebnis zurück zur Sprache routen. Um die effektive Erkundung des erweiterten Aktionsraums und neuer Umgebungen zu fördern, führen wir ExpA Reinforcement Learning (EARL) mit kontrafaktischer Policy-Optimierung ein. Bei Aufgaben, die mehrstufige Interaktionen und bedingte Planung erfordern, übertrifft EARL starke Baselines mit vokabularbeschränkten Aktionen. Es zeigt robuste Leistungen beim rechnerbasierten Multi-Task-Lernen und erreicht im Problem des teilweise beobachteten Sortierens eine perfekte Sort-4-Genauigkeit, während es selbstständig einen effizienten Algorithmus entdeckt, der mit klassischen Entwürfen konkurrieren kann.

English

Large Language Models (LLMs) are powerful reasoners in natural language, but their actions are typically confined to outputting vocabulary tokens. As a result, interactions with external environments -- such as symbolic operators or simulators -- must be expressed through text in predefined formats, parsed, and routed to external interfaces. This overloads the model's language with both reasoning and control duties, and requires a hand-crafted parser, external to the LLM. To address this, we decouple environment interactions from language by internalizing them in an Expanded Action space (ExpA), beyond the vocabulary. The model starts reasoning in the default language environment, but may trigger routing actions and switch to an external environment at any time. From there, the model can only invoke environment-specific actions, receive feedback from the environment, and potentially route back to language as a result. To promote effective exploration of the expanded action space and new environments, we introduce ExpA Reinforcement Learning (EARL) with counterfactual policy optimization. On tasks requiring multi-turn interactions and contingent planning, EARL outperforms strong baselines with vocabulary-constrained actions. It performs robustly across calculator-based multi-task learning and, in the partially observed sorting problem, achieves perfect Sort-4 accuracy while self-discovering an efficient algorithm competitive with classical designs.

Erweiterung des Aktionsraums von LLMs, um über Sprache hinaus zu denken

Expanding the Action Space of LLMs to Reason Beyond Language

papers.abstract

Support