Los Errores de Exploración y Explotación Son Medibles para Agentes de Modelos de Lenguaje
Exploration and Exploitation Errors Are Measurable for Language Model Agents
April 14, 2026
Autores: Jaden Park, Jungtaek Kim, Jongwon Jeong, Robert D. Nowak, Kangwook Lee, Yong Jae Lee
cs.AI
Resumen
Los agentes de modelos de lenguaje (LM) se utilizan cada vez más en tareas complejas de toma de decisiones de naturaleza abierta, desde la codificación con IA hasta la IA física. Un requisito fundamental en estos contextos es la capacidad de explorar el espacio del problema y explotar el conocimiento adquirido de manera efectiva. Sin embargo, distinguir y cuantificar sistemáticamente la exploración y la explotación a partir de las acciones observadas, sin acceso a la política interna del agente, sigue siendo un desafío. Para abordar esto, diseñamos entornos controlables inspirados en escenarios prácticos de IA incorporada. Cada entorno consiste en un mapa de cuadrícula 2D parcialmente observable y un Gráfico Acíclico Dirigido (DAG) de tarea desconocida. La generación del mapa puede ajustarse mediante programación para enfatizar la dificultad de exploración o explotación. Para permitir una evaluación independiente de la política, diseñamos una métrica para cuantificar los errores de exploración y explotación a partir de las acciones del agente. Evaluamos una variedad de agentes LM de vanguardia y encontramos que incluso los modelos más avanzados tienen dificultades en nuestra tarea, mostrando diferentes modelos distintos modos de fallo. Observamos además que los modelos de razonamiento resuelven la tarea de manera más efectiva y demostramos que tanto la exploración como la explotación pueden mejorarse significativamente mediante una ingeniería de soporte mínima. Publicamos nuestro código https://github.com/jjj-madison/measurable-explore-exploit.
English
Language Model (LM) agents are increasingly used in complex open-ended decision-making tasks, from AI coding to physical AI. A core requirement in these settings is the ability to both explore the problem space and exploit acquired knowledge effectively. However, systematically distinguishing and quantifying exploration and exploitation from observed actions without access to the agent's internal policy remains challenging. To address this, we design controllable environments inspired by practical embodied AI scenarios. Each environment consists of a partially observable 2D grid map and an unknown task Directed Acyclic Graph (DAG). The map generation can be programmatically adjusted to emphasize exploration or exploitation difficulty. To enable policy-agnostic evaluation, we design a metric to quantify exploration and exploitation errors from agent's actions. We evaluate a variety of frontier LM agents and find that even state-of-the-art models struggle on our task, with different models exhibiting distinct failure modes. We further observe that reasoning models solve the task more effectively and show both exploration and exploitation can be significantly improved through minimal harness engineering. We release our code https://github.com/jjj-madison/measurable-explore-exploit{here}.