Überbrückung der Agent-Welt-Lücke: Text-Welt-Modelle für LLM-basierte Agenten

Zusammenfassung

Auf großen Sprachmodellen (LLMs) basierende Agenten werden zunehmend in interaktiven textuellen Umgebungen eingesetzt – von der Webnavigation und Codebearbeitung über die Werkzeugnutzung bis hin zu langfristigen Dialogen. Dennoch bleiben viele von ihnen weitgehend reaktiv, indem sie Beobachtungen auf Aktionen abbilden, ohne ein explizites Modell davon zu haben, wie diese Umgebungen strukturiert sind und sich entwickeln. Dies motiviert Textweltmodelle (TWMs): Übergangsmodelle über textuelle Zustände, die, gegeben einen Zustand und eine Kandidatenaktion, die resultierende Webseite, Terminalausgabe, API-Antwort oder Benutzerantwort vorhersagen und somit Planung, effizientes Lernen und prinzipienbasierte Evaluierung unterstützen. Wir überprüfen systematisch Textweltmodelle für LLM-basierte Agenten, organisiert um einen formalen Rahmen und den Agentenlebenszyklus: (1) Grundlagen, die Textweltmodelle definieren und sie nach Zustandsrepräsentation und Verankerungsdomäne charakterisieren; (2) Konstruktion, die die Paradigmen LLM-als-WM und Code-als-WM taxonomisiert und Methoden zu deren Erstellung überprüft; (3) Anwendung, die untersucht, wie Weltmodelle Agenten zur Trainingszeit durch Erfahrungssynthese und zur Inferenzzeit durch Planung, Verifikation und Anpassung unterstützen; und (4) Evaluierung, die sowohl die Evaluierung des Weltmodells selbst als auch seine Nutzung als Evaluierungsumgebung für Agenten abdeckt. Wir zielen darauf ab, dieses sich schnell entwickelnde Gebiet zu konsolidieren, seinen Designraum zu klären und offene Herausforderungen für zukünftige Forschung hervorzuheben.

English

Large language model (LLM)-based agents are increasingly used in interactive textual environments, from web navigation and code editing to tool use and long-horizon dialogue. Yet many remain largely reactive, mapping observations to actions without an explicit model of how these environments are structured and evolve. This motivates text world models (TWMs): transition models over textual states that, given a state and a candidate action, predict the resulting webpage, terminal output, API response, or user reply, thereby supporting planning, efficient learning, and principled evaluation. We systematically review text world models for LLM-based agents, organized around a formal framework and the agent lifecycle: (1) Foundations, defining text world models and characterizing them by state representation and grounding domain; (2) Construction, taxonomizing LLM-as-WM and code-as-WM paradigms and reviewing methods for building them; (3) Application, examining how world models support agents at training time through experience synthesis and at inference time through planning, verification, and adaptation; and (4) Evaluation, covering both evaluation of the world model itself and its use as an evaluation environment for agents. We aim to consolidate this rapidly developing area, clarify its design space, and highlight open challenges for future research.