Les erreurs d'exploration et d'exploitation sont mesurables pour les agents de modèles de langage
Exploration and Exploitation Errors Are Measurable for Language Model Agents
April 14, 2026
Auteurs: Jaden Park, Jungtaek Kim, Jongwon Jeong, Robert D. Nowak, Kangwook Lee, Yong Jae Lee
cs.AI
Résumé
Les agents de modèles de langage (LM) sont de plus en plus utilisés dans des tâches de prise de décision complexes et ouvertes, allant du codage IA à l'IA physique. Une exigence fondamentale dans ces contextes est la capacité à explorer l'espace problématique et à exploiter efficacement les connaissances acquises. Cependant, il reste difficile de distinguer systématiquement et de quantifier l'exploration et l'exploitation à partir des actions observées sans accéder à la politique interne de l'agent. Pour résoudre ce problème, nous concevons des environnements contrôlables inspirés de scénarios pratiques d'IA incarnée. Chaque environnement se compose d'une carte en grille 2D partiellement observable et d'un graphe acyclique orienté (DAG) de tâches inconnu. La génération de cartes peut être ajustée programmatiquement pour accentuer la difficulté d'exploration ou d'exploitation. Pour permettre une évaluation indépendante de la politique, nous concevons une métrique pour quantifier les erreurs d'exploration et d'exploitation à partir des actions de l'agent. Nous évaluons une variété d'agents LM de pointe et constatons que même les modèles les plus avancés éprouvent des difficultés sur notre tâche, différents modèles présentant des modes d'échec distincts. Nous observons en outre que les modèles de raisonnement résolvent la tâche plus efficacement et montrons que l'exploration et l'exploitation peuvent être considérablement améliorées par une ingénierie de harnais minimale. Nous publions notre code https://github.com/jjj-madison/measurable-explore-exploit{ici}.
English
Language Model (LM) agents are increasingly used in complex open-ended decision-making tasks, from AI coding to physical AI. A core requirement in these settings is the ability to both explore the problem space and exploit acquired knowledge effectively. However, systematically distinguishing and quantifying exploration and exploitation from observed actions without access to the agent's internal policy remains challenging. To address this, we design controllable environments inspired by practical embodied AI scenarios. Each environment consists of a partially observable 2D grid map and an unknown task Directed Acyclic Graph (DAG). The map generation can be programmatically adjusted to emphasize exploration or exploitation difficulty. To enable policy-agnostic evaluation, we design a metric to quantify exploration and exploitation errors from agent's actions. We evaluate a variety of frontier LM agents and find that even state-of-the-art models struggle on our task, with different models exhibiting distinct failure modes. We further observe that reasoning models solve the task more effectively and show both exploration and exploitation can be significantly improved through minimal harness engineering. We release our code https://github.com/jjj-madison/measurable-explore-exploit{here}.