エージェントは探求するがエージェントは無視する：LLMに欠ける環境への好奇心

Agents Explore but Agents Ignore: LLMs Lack Environmental Curiosity

April 19, 2026

著者: Leon Engländer, Sophia Althammer, Ahmet Üstün, Matthias Gallé, Tom Sherborne

cs.AI

要旨

LLMベースのエージェントは、環境観察を推論に統合することが想定されている。すなわち、非常に関連性が高く予期しない情報を発見することは、モデルが自らの発見を活用することを自然に導くはずである。我々は、この想定が現在のLLMベースのエージェントには当てはまらないことを示す。これらのエージェントは、予期しない情報に対して反省したり反応したりするのに苦労する。3つのベンチマーク（Terminal-Bench、SWE-Bench、AppWorld）において、エージェント環境に完全なタスク解決策を注入し、意図的にタスクの解決策をモデルに提示した。Terminal-Benchではエージェントがこれらの解決策を実行の79-81%で発見するものの、それらを操作したり活用したりするのはわずか37-50%のケースに留まった。この隔たりはAppWorldで最も顕著であり、エージェントは90%以上の試行で「このタスクの完全な解決策を返す」と明記されたドキュメントを目にするにも関わらず、これを活用する試行は7%未満であった。我々は、エージェントが「環境的好奇心」—環境刺激に応答して、予期しないが関連性の高い観察を認識し調査する能力—を欠いていることを示す。環境的好奇心に影響を与える主要因として、エージェントのスキャフォールドで利用可能なツール、推論時の計算資源、学習データの分布の3つを特定した。我々の知見は、好奇心を最大化する構成が、改変されていないベンチマークにおいても最高のパフォーマンスを達成することを示している。しかし、共同で最適化されたエージェントでさえ、大多数の試行で発見された解決策を無視する。現在のエージェントは環境を利用して期待される情報を取得するが、自身の戦略を修正したり、有用な刺激を最大限に活用したりすることはない。

English

LLM-based agents are assumed to integrate environmental observations into their reasoning: discovering highly relevant but unexpected information should naturally lead to a model exploiting its own discoveries. We show that this assumption is false for current LLM-based agents, which struggle to reflect or react to unexpected information. Across three benchmarks (Terminal-Bench, SWE-Bench, AppWorld), we inject complete task solutions into the agent environments to deliberately expose a task's solution to a model. While agents discover these solutions on Terminal-Bench in 79-81% of runs, they interact, or exploit, them in only 37-50% of cases. This gap is starkest in AppWorld: agents see documentation stating that a command "returns the complete solution to this task" in over 90% of attempts but exploit this in fewer than 7% of trials. We show that agents lack what we call environmental curiosity: the capability to recognize and investigate unexpected but relevant observations in response to environmental stimuli. We identify three main factors influencing environmental curiosity: available tools in the agent scaffold, test-time compute, and training data distribution. Our findings identify configurations that maximize curiosity also achieve the best performance on the unmodified benchmarks. Yet even jointly optimized agents still ignore discovered solutions in the majority of trials: current agents use the environment to fetch expected information, but not to revise their strategy or maximally exploit useful stimuli.