Gli errori di esplorazione e sfruttamento sono misurabili per gli agenti basati su modelli linguistici.
Exploration and Exploitation Errors Are Measurable for Language Model Agents
April 14, 2026
Autori: Jaden Park, Jungtaek Kim, Jongwon Jeong, Robert D. Nowak, Kangwook Lee, Yong Jae Lee
cs.AI
Abstract
Gli agenti basati su Language Model (LM) sono sempre più utilizzati in compiti decisionali complessi e aperti, dall'AI per la programmazione all'AI fisica. Un requisito fondamentale in questi contesti è la capacità di esplorare lo spazio del problema e sfruttare efficacemente le conoscenze acquisite. Tuttavia, distinguere sistematicamente e quantificare esplorazione e sfruttamento dalle azioni osservate, senza accedere alla politica interna dell'agente, rimane una sfida. Per affrontare questo problema, progettiamo ambienti controllabili ispirati a scenari pratici di AI incarnata. Ogni ambiente consiste in una mappa a griglia 2D parzialmente osservabile e un Directed Acyclic Graph (DAG) di compito sconosciuto. La generazione della mappa può essere regolata programmaticamente per enfatizzare la difficoltà di esplorazione o sfruttamento. Per abilitare una valutazione indipendente dalla politica, progettiamo una metrica per quantificare gli errori di esplorazione e sfruttamento dalle azioni dell'agente. Valutiamo una varietà di agenti LM all'avanguardia e riscontriamo che anche i modelli più avanzati faticano nel nostro compito, con diversi modelli che mostrano modalità di fallimento distinte. Osserviamo inoltre che i modelli di ragionamento risolvono il compito in modo più efficace e dimostrano che sia l'esplorazione che lo sfruttamento possono essere migliorati significativamente attraverso una minimale ingegnerizzazione dell'harness. Rilasciamo il nostro codice https://github.com/jjj-madison/measurable-explore-exploit{qui}.
English
Language Model (LM) agents are increasingly used in complex open-ended decision-making tasks, from AI coding to physical AI. A core requirement in these settings is the ability to both explore the problem space and exploit acquired knowledge effectively. However, systematically distinguishing and quantifying exploration and exploitation from observed actions without access to the agent's internal policy remains challenging. To address this, we design controllable environments inspired by practical embodied AI scenarios. Each environment consists of a partially observable 2D grid map and an unknown task Directed Acyclic Graph (DAG). The map generation can be programmatically adjusted to emphasize exploration or exploitation difficulty. To enable policy-agnostic evaluation, we design a metric to quantify exploration and exploitation errors from agent's actions. We evaluate a variety of frontier LM agents and find that even state-of-the-art models struggle on our task, with different models exhibiting distinct failure modes. We further observe that reasoning models solve the task more effectively and show both exploration and exploitation can be significantly improved through minimal harness engineering. We release our code https://github.com/jjj-madison/measurable-explore-exploit{here}.