Agentes Exploram, mas Agentes Ignoram: Os LLMs Carecem de Curiosidade Ambiental

Agents Explore but Agents Ignore: LLMs Lack Environmental Curiosity

April 19, 2026

Autores: Leon Engländer, Sophia Althammer, Ahmet Üstün, Matthias Gallé, Tom Sherborne

cs.AI

Resumo

Supõe-se que os agentes baseados em LLM (Large Language Models) integrem observações do ambiente em seu raciocínio: a descoberta de informações altamente relevantes, mas inesperadas, deveria naturalmente levar o modelo a explorar suas próprias descobertas. Mostramos que essa suposição é falsa para os agentes atuais baseados em LLM, que têm dificuldade em refletir ou reagir a informações inesperadas. Em três benchmarks (Terminal-Bench, SWE-Bench, AppWorld), injetamos soluções completas de tarefas nos ambientes dos agentes para expor deliberadamente a solução de uma tarefa a um modelo. Embora os agentes descubram essas soluções no Terminal-Bench em 79-81% das execuções, eles interagem ou as exploram em apenas 37-50% dos casos. Essa lacuna é mais acentuada no AppWorld: os agentes veem uma documentação afirmando que um comando "retorna a solução completa para esta tarefa" em mais de 90% das tentativas, mas exploram isso em menos de 7% dos testes. Mostramos que os agentes carecem do que chamamos de curiosidade ambiental: a capacidade de reconhecer e investigar observações inesperadas, porém relevantes, em resposta a estímulos ambientais. Identificamos três fatores principais que influenciam a curiosidade ambiental: as ferramentas disponíveis na estrutura do agente, o poder computacional em tempo de teste e a distribuição dos dados de treinamento. Nossas descobertas identificam que as configurações que maximizam a curiosidade também alcançam o melhor desempenho nos benchmarks não modificados. No entanto, mesmo os agentes com otimização conjunta ainda ignoram as soluções descobertas na maioria dos testes: os agentes atuais usam o ambiente para buscar informações esperadas, mas não para revisar sua estratégia ou explorar ao máximo estímulos úteis.

English

LLM-based agents are assumed to integrate environmental observations into their reasoning: discovering highly relevant but unexpected information should naturally lead to a model exploiting its own discoveries. We show that this assumption is false for current LLM-based agents, which struggle to reflect or react to unexpected information. Across three benchmarks (Terminal-Bench, SWE-Bench, AppWorld), we inject complete task solutions into the agent environments to deliberately expose a task's solution to a model. While agents discover these solutions on Terminal-Bench in 79-81% of runs, they interact, or exploit, them in only 37-50% of cases. This gap is starkest in AppWorld: agents see documentation stating that a command "returns the complete solution to this task" in over 90% of attempts but exploit this in fewer than 7% of trials. We show that agents lack what we call environmental curiosity: the capability to recognize and investigate unexpected but relevant observations in response to environmental stimuli. We identify three main factors influencing environmental curiosity: available tools in the agent scaffold, test-time compute, and training data distribution. Our findings identify configurations that maximize curiosity also achieve the best performance on the unmodified benchmarks. Yet even jointly optimized agents still ignore discovered solutions in the majority of trials: current agents use the environment to fetch expected information, but not to revise their strategy or maximally exploit useful stimuli.