Explorations- und Exploitationsfehler sind für Sprachmodell-Agenten messbar.
Exploration and Exploitation Errors Are Measurable for Language Model Agents
April 14, 2026
Autoren: Jaden Park, Jungtaek Kim, Jongwon Jeong, Robert D. Nowak, Kangwook Lee, Yong Jae Lee
cs.AI
Zusammenfassung
Sprachmodell-Agenten (LM-Agenten) werden zunehmend für komplexe, offene Entscheidungsaufgaben eingesetzt, von KI-Codierung bis hin zu physischer KI. Eine zentrale Anforderung in diesen Szenarien ist die Fähigkeit, sowohl den Problemraum zu erkunden als auch erworbenes Wissen effektiv zu nutzen. Die systematische Unterscheidung und Quantifizierung von Exploration und Exploitation anhand beobachteter Aktionen ohne Zugriff auf die interne Policy des Agenten bleibt jedoch eine Herausforderung. Um dies zu adressieren, entwerfen wir kontrollierbare Umgebungen, die von praktischen embodied AI-Szenarien inspiriert sind. Jede Umgebung besteht aus einer teilweise beobachtbaren 2D-Gitterkarte und einem unbekannten Task-Directed Acyclic Graph (DAG). Die Kartengenerierung kann programmgesteuert angepasst werden, um den Schwierigkeitsgrad für Exploration oder Exploitation zu betonen. Um eine policy-agnostische Evaluation zu ermöglichen, entwickeln wir eine Metrik zur Quantifizierung von Explorations- und Exploitationsfehlern aus den Aktionen des Agenten. Wir evaluieren eine Vielzahl von LM-Agenten an der Forschungsfront und stellen fest, dass selbst state-of-the-art Modelle bei unserer Aufgabe Schwierigkeiten haben, wobei verschiedene Modelle distincte Fehlermodi aufweisen. Weiterhin beobachten wir, dass Reasoning-Modelle die Aufgabe effektiver lösen und zeigen, dass sowohl Exploration als auch Exploitation durch minimalen Harness-Engineering signifikant verbessert werden können. Wir veröffentlichen unseren Code unter https://github.com/jjj-madison/measurable-explore-exploit.
English
Language Model (LM) agents are increasingly used in complex open-ended decision-making tasks, from AI coding to physical AI. A core requirement in these settings is the ability to both explore the problem space and exploit acquired knowledge effectively. However, systematically distinguishing and quantifying exploration and exploitation from observed actions without access to the agent's internal policy remains challenging. To address this, we design controllable environments inspired by practical embodied AI scenarios. Each environment consists of a partially observable 2D grid map and an unknown task Directed Acyclic Graph (DAG). The map generation can be programmatically adjusted to emphasize exploration or exploitation difficulty. To enable policy-agnostic evaluation, we design a metric to quantify exploration and exploitation errors from agent's actions. We evaluate a variety of frontier LM agents and find that even state-of-the-art models struggle on our task, with different models exhibiting distinct failure modes. We further observe that reasoning models solve the task more effectively and show both exploration and exploitation can be significantly improved through minimal harness engineering. We release our code https://github.com/jjj-madison/measurable-explore-exploit{here}.