Los agentes exploran pero los agentes ignoran: los LLM carecen de curiosidad ambiental

Agents Explore but Agents Ignore: LLMs Lack Environmental Curiosity

April 19, 2026

Autores: Leon Engländer, Sophia Althammer, Ahmet Üstün, Matthias Gallé, Tom Sherborne

cs.AI

Resumen

Se asume que los agentes basados en LLM integran las observaciones del entorno en su razonamiento: el descubrimiento de información altamente relevante pero inesperada debería llevar naturalmente a que un modelo explote sus propios hallazgos. Demostramos que esta suposición es falsa para los agentes basados en LLM actuales, que tienen dificultades para reflexionar o reaccionar ante información inesperada. En tres puntos de referencia (Terminal-Bench, SWE-Bench, AppWorld), inyectamos soluciones completas de tareas en los entornos de los agentes para exponer deliberadamente la solución de una tarea a un modelo. Si bien los agentes descubren estas soluciones en Terminal-Bench en el 79-81% de las ejecuciones, interactúan con ellas o las explotan solo en el 37-50% de los casos. Esta brecha es más marcada en AppWorld: los agentes ven documentación que afirma que un comando "devuelve la solución completa a esta tarea" en más del 90% de los intentos, pero explotan esto en menos del 7% de las pruebas. Demostramos que a los agentes les falta lo que llamamos *curiosidad ambiental*: la capacidad de reconocer e investigar observaciones inesperadas pero relevantes en respuesta a estímulos ambientales. Identificamos tres factores principales que influyen en la curiosidad ambiental: las herramientas disponibles en la arquitectura del agente, el cómputo en tiempo de prueba y la distribución de datos de entrenamiento. Nuestros hallazgos identifican que las configuraciones que maximizan la curiosidad también logran el mejor rendimiento en los puntos de referencia sin modificar. Sin embargo, incluso los agentes optimizados conjuntamente siguen ignorando las soluciones descubiertas en la mayoría de las pruebas: los agentes actuales utilizan el entorno para obtener información esperada, pero no para revisar su estrategia o explotar al máximo los estímulos útiles.

English

LLM-based agents are assumed to integrate environmental observations into their reasoning: discovering highly relevant but unexpected information should naturally lead to a model exploiting its own discoveries. We show that this assumption is false for current LLM-based agents, which struggle to reflect or react to unexpected information. Across three benchmarks (Terminal-Bench, SWE-Bench, AppWorld), we inject complete task solutions into the agent environments to deliberately expose a task's solution to a model. While agents discover these solutions on Terminal-Bench in 79-81% of runs, they interact, or exploit, them in only 37-50% of cases. This gap is starkest in AppWorld: agents see documentation stating that a command "returns the complete solution to this task" in over 90% of attempts but exploit this in fewer than 7% of trials. We show that agents lack what we call environmental curiosity: the capability to recognize and investigate unexpected but relevant observations in response to environmental stimuli. We identify three main factors influencing environmental curiosity: available tools in the agent scaffold, test-time compute, and training data distribution. Our findings identify configurations that maximize curiosity also achieve the best performance on the unmodified benchmarks. Yet even jointly optimized agents still ignore discovered solutions in the majority of trials: current agents use the environment to fetch expected information, but not to revise their strategy or maximally exploit useful stimuli.