エージェント的棄権：エージェントは行動する代わりにいつ停止すべきかを知っているか？

要旨

LLMエージェントは、検索、ブラウジングインターフェース、ターミナルツールを用いて、複数ターンにわたって行動し、ユーザーの目標を達成することが期待されている。しかし、すべての目標が明確に指定されているわけでも、利用可能な環境で達成可能であるわけでもない。そのような場合、信頼性の高いエージェントは、さらなる対話が役に立たない可能性が高いことを認識し、追加のツール呼び出しを控えるべきである。我々は、不確実性のもとでエージェントがいつ行動を停止すべきかを決定する問題として、エージェント的棄権（Agentic Abstention）を定義する。標準的なLLM棄権が通常、単一ターンの「回答か棄権か」の決定として評価されるのとは異なり、エージェント的棄権は逐次的な決定問題である。すなわち、エージェントは各ターンで回答、棄権、または追加情報収集を行うことができ、棄権の必要性は環境との対話後に初めて明らかになる場合がある。我々はこの問題を、ウェブショッピング、ターミナル環境、質問応答にわたって調査し、13のLLM-as-agentシステムと2つのエージェントスキャフォールドを28,000以上のタスクで評価した。我々の結果は、主要な課題はエージェントが棄権できるかどうかだけでなく、いつ棄権するかにもあることを示している。あるエージェントは棄権すべき時に決して棄権せず、別のエージェントは多くの不必要な対話の後に初めて棄権する。このギャップは、環境が否定するまで指示が実行可能に見えるタスク（例えば、指示に一致する有効な結果がない場合）で特に大きい。さらに、モデル規模、推論能力、エージェントスキャフォールディングが棄権に異なる影響を与えることも明らかになった。大規模または高性能なモデルが、適時な棄権においてむしろ悪い結果を示す場合もある。最後に、エージェント的棄権を改善するためのコンテクストエンジニアリング手法であるCONVOLVEを導入する。これは、完全な対話軌跡を再利用可能な停止ルールに蒸留する。WebShopにおいて、CONVOLVEはモデルパラメータを更新することなく適時な棄権を大幅に改善し、Llama-3.3-70Bの適時再現率（timely recall rate）を26.7から57.4に向上させた。データセットとコードは https://lhannnn.github.io/agentic-abstention で公開している。

English

LLM agents are expected to act over multiple turns, using search, browsing interfaces, and terminal tools to complete user goals. Yet not every goal is well specified or achievable in the available environment. In such cases, a reliable agent should recognize that further interaction is unlikely to help and abstain from additional tool calls. We define Agentic Abstention, the problem of deciding when an agent should stop acting under uncertainty. Unlike standard LLM abstention, which is usually evaluated as a single-turn answer-or-abstain decision, agentic abstention is a sequential decision problem: an agent can answer, abstain, or gather more information at each turn, and the need to abstain may only become clear after interacting with the environment. We study this problem across web shopping, terminal environments, and question answering, evaluating 13 LLM-as-agent systems and 2 agent scaffolds on more than 28,000 tasks. Our results show that the main challenge is not only whether agents can abstain, but also when they abstain. Some agents never abstain when they should, while others do so only after many unnecessary interactions. This gap is especially large on tasks where the instruction appears feasible until the environment reveals otherwise (e.g., no valid result matches the instruction). We further find that model scale, reasoning, and agent scaffolding affect abstention in different ways, where larger or more capable models sometimes perform worse at timely abstention. Finally, we introduce CONVOLVE, a context engineering method for improving agentic abstention that distills full interaction trajectories into reusable stopping rules. On WebShop, CONVOLVE substantially improves timely abstention without updating model parameters, raising Llama-3.3-70B's timely recall rate from 26.7 to 57.4. Our dataset and code are available at https://lhannnn.github.io/agentic-abstention