Agents Exploreren maar Agents Negeren: LLM's Missen Nieuwsgierigheid naar de Omgeving

Agents Explore but Agents Ignore: LLMs Lack Environmental Curiosity

April 19, 2026

Auteurs: Leon Engländer, Sophia Althammer, Ahmet Üstün, Matthias Gallé, Tom Sherborne

cs.AI

Samenvatting

Er wordt aangenomen dat op LLM gebaseerde agents omgevingswaarnemingen integreren in hun redenering: de ontdekking van zeer relevante maar onverwachte informatie zou van nature moeten leiden tot een model dat zijn eigen ontdekkingen benut. Wij tonen aan dat deze aanname onjuist is voor huidige LLM-agents, die moeite hebben om te reflecteren op of te reageren op onverwachte informatie. In drie benchmarks (Terminal-Bench, SWE-Bench, AppWorld) injecteren we complete taakoplossingen in de agentomgevingen om een model opzettelijk bloot te stellen aan de oplossing van een taak. Hoewel agents deze oplossingen in Terminal-Bench in 79-81% van de runs ontdekken, interageren ze ermee of benutten ze deze in slechts 37-50% van de gevallen. Deze kloof is het grootst in AppWorld: agents zien in meer dan 90% van de pogingen documentatie die stelt dat een commando "de complete oplossing voor deze taak retourneert", maar benutten dit in minder dan 7% van de trials. Wij tonen aan dat agents ontbreekt wat wij *environmental curiosity* (omgevingsnieuwsgierigheid) noemen: het vermogen om onverwachte maar relevante waarnemingen te herkennen en te onderzoeken als reactie op omgevingsprikkels. Wij identificeren drie hoofd factoren die de omgevingsnieuwsgierigheid beïnvloeden: de beschikbare tools in de agent-scaffold, de rekencapaciteit tijdens het testen (*test-time compute*), en de verdeling van de trainingsdata. Onze bevindingen tonen aan dat configuraties die de nieuwsgierigheid maximaliseren, ook de beste prestaties behalen op de ongemodificeerde benchmarks. Toch negeren zelfs gezamenlijk geoptimaliseerde agents in de meerderheid van de trials de ontdekte oplossingen: huidige agents gebruiken de omgeving om verwachte informatie op te halen, maar niet om hun strategie bij te stellen of nuttige prikkels maximaal te benutten.

English

LLM-based agents are assumed to integrate environmental observations into their reasoning: discovering highly relevant but unexpected information should naturally lead to a model exploiting its own discoveries. We show that this assumption is false for current LLM-based agents, which struggle to reflect or react to unexpected information. Across three benchmarks (Terminal-Bench, SWE-Bench, AppWorld), we inject complete task solutions into the agent environments to deliberately expose a task's solution to a model. While agents discover these solutions on Terminal-Bench in 79-81% of runs, they interact, or exploit, them in only 37-50% of cases. This gap is starkest in AppWorld: agents see documentation stating that a command "returns the complete solution to this task" in over 90% of attempts but exploit this in fewer than 7% of trials. We show that agents lack what we call environmental curiosity: the capability to recognize and investigate unexpected but relevant observations in response to environmental stimuli. We identify three main factors influencing environmental curiosity: available tools in the agent scaffold, test-time compute, and training data distribution. Our findings identify configurations that maximize curiosity also achieve the best performance on the unmodified benchmarks. Yet even jointly optimized agents still ignore discovered solutions in the majority of trials: current agents use the environment to fetch expected information, but not to revise their strategy or maximally exploit useful stimuli.