Gli Agenti Esplorano ma gli Agenti Ignorano: I LLM Manca la Curiosità Ambientale

Agents Explore but Agents Ignore: LLMs Lack Environmental Curiosity

April 19, 2026

Autori: Leon Engländer, Sophia Althammer, Ahmet Üstün, Matthias Gallé, Tom Sherborne

cs.AI

Abstract

Si presume che gli agenti basati su LLM integrino le osservazioni ambientali nel loro ragionamento: la scoperta di informazioni altamente rilevanti ma inaspettate dovrebbe portare naturalmente un modello a sfruttare le proprie scoperte. Dimostriamo che questa assunzione è falsa per gli attuali agenti basati su LLM, che faticano a riflettere o reagire a informazioni inaspettate. In tre benchmark (Terminal-Bench, SWE-Bench, AppWorld), iniettiamo soluzioni complete dei task negli ambienti degli agenti per esporre deliberatamente la soluzione di un task a un modello. Sebbene gli agenti scoprano queste soluzioni su Terminal-Bench nel 79-81% delle esecuzioni, interagiscono con esse, o le sfruttano, solo nel 37-50% dei casi. Questo divario è più marcato in AppWorld: gli agenti vedono una documentazione che afferma che un comando "restituisce la soluzione completa a questo task" in oltre il 90% dei tentativi, ma la sfruttano in meno del 7% delle prove. Dimostriamo che agli agenti manca ciò che chiamiamo curiosità ambientale: la capacità di riconoscere e investigare osservazioni inaspettate ma rilevanti in risposta a stimoli ambientali. Identifichiamo tre fattori principali che influenzano la curiosità ambientale: gli strumenti disponibili nell'impalcatura dell'agente, il calcolo al momento del test e la distribuzione dei dati di addestramento. Le nostre scoperte identificano che le configurazioni che massimizzano la curiosità raggiungono anche le migliori prestazioni sui benchmark non modificati. Tuttavia, anche agenti congiuntamente ottimizzati ignorano le soluzioni scoperte nella maggior parte delle prove: gli agenti attuali utilizzano l'ambiente per recuperare informazioni attese, ma non per rivedere la propria strategia o sfruttare al massimo stimoli utili.

English

LLM-based agents are assumed to integrate environmental observations into their reasoning: discovering highly relevant but unexpected information should naturally lead to a model exploiting its own discoveries. We show that this assumption is false for current LLM-based agents, which struggle to reflect or react to unexpected information. Across three benchmarks (Terminal-Bench, SWE-Bench, AppWorld), we inject complete task solutions into the agent environments to deliberately expose a task's solution to a model. While agents discover these solutions on Terminal-Bench in 79-81% of runs, they interact, or exploit, them in only 37-50% of cases. This gap is starkest in AppWorld: agents see documentation stating that a command "returns the complete solution to this task" in over 90% of attempts but exploit this in fewer than 7% of trials. We show that agents lack what we call environmental curiosity: the capability to recognize and investigate unexpected but relevant observations in response to environmental stimuli. We identify three main factors influencing environmental curiosity: available tools in the agent scaffold, test-time compute, and training data distribution. Our findings identify configurations that maximize curiosity also achieve the best performance on the unmodified benchmarks. Yet even jointly optimized agents still ignore discovered solutions in the majority of trials: current agents use the environment to fetch expected information, but not to revise their strategy or maximally exploit useful stimuli.