Les agents explorent mais les agents ignorent : les LLM manquent de curiosité environnementale

Agents Explore but Agents Ignore: LLMs Lack Environmental Curiosity

April 19, 2026

Auteurs: Leon Engländer, Sophia Althammer, Ahmet Üstün, Matthias Gallé, Tom Sherborne

cs.AI

Résumé

Les agents basés sur LLM sont supposés intégrer les observations de l'environnement dans leur raisonnement : la découverte d'informations très pertinentes mais inattendues devrait naturellement conduire un modèle à exploiter ses propres découvertes. Nous montrons que cette hypothèse est fausse pour les agents actuels basés sur LLM, qui peinent à refléter ou à réagir face à des informations imprévues. Sur trois benchmarks (Terminal-Bench, SWE-Bench, AppWorld), nous injectons des solutions complètes de tâches dans les environnements des agents pour exposer délibérément la solution d'une tâche à un modèle. Bien que les agents découvrent ces solutions sur Terminal-Bench dans 79 à 81 % des exécutions, ils interagissent avec elles, ou les exploitent, dans seulement 37 à 50 % des cas. Cet écart est le plus marqué dans AppWorld : les agents voient une documentation indiquant qu'une commande "renvoie la solution complète à cette tâche" dans plus de 90 % des tentatives, mais ils l'exploitent dans moins de 7 % des essais. Nous montrons que les agents manquent de ce que nous appelons la curiosité environnementale : la capacité à reconnaître et à examiner des observations inattendues mais pertinentes en réponse à des stimuli environnementaux. Nous identifions trois facteurs principaux influençant la curiosité environnementale : les outils disponibles dans l'échafaudage de l'agent, le calcul au moment du test et la distribution des données d'entraînement. Nos résultats indiquent que les configurations qui maximisent la curiosité obtiennent également les meilleures performances sur les benchmarks non modifiés. Pourtant, même les agents conjointement optimisés ignorent encore les solutions découvertes dans la majorité des essais : les agents actuels utilisent l'environnement pour récupérer des informations attendues, mais pas pour réviser leur stratégie ou exploiter au maximum les stimuli utiles.

English

LLM-based agents are assumed to integrate environmental observations into their reasoning: discovering highly relevant but unexpected information should naturally lead to a model exploiting its own discoveries. We show that this assumption is false for current LLM-based agents, which struggle to reflect or react to unexpected information. Across three benchmarks (Terminal-Bench, SWE-Bench, AppWorld), we inject complete task solutions into the agent environments to deliberately expose a task's solution to a model. While agents discover these solutions on Terminal-Bench in 79-81% of runs, they interact, or exploit, them in only 37-50% of cases. This gap is starkest in AppWorld: agents see documentation stating that a command "returns the complete solution to this task" in over 90% of attempts but exploit this in fewer than 7% of trials. We show that agents lack what we call environmental curiosity: the capability to recognize and investigate unexpected but relevant observations in response to environmental stimuli. We identify three main factors influencing environmental curiosity: available tools in the agent scaffold, test-time compute, and training data distribution. Our findings identify configurations that maximize curiosity also achieve the best performance on the unmodified benchmarks. Yet even jointly optimized agents still ignore discovered solutions in the majority of trials: current agents use the environment to fetch expected information, but not to revise their strategy or maximally exploit useful stimuli.