Агентное воздержание: знают ли агенты, когда остановиться, а не действовать?

Аннотация

Ожидается, что LLM-агенты будут действовать в течение нескольких шагов, используя поиск, интерфейсы браузера и терминальные инструменты для достижения целей пользователя. Однако не всякая цель четко определена или достижима в доступной среде. В таких случаях надежный агент должен осознавать, что дальнейшее взаимодействие вряд ли поможет, и воздерживаться от дополнительных вызовов инструментов. Мы определяем проблему *агентского воздержания* (Agentic Abstention) — принятия решения о том, когда агенту следует прекратить действовать в условиях неопределенности. В отличие от стандартного воздержания LLM (которое обычно оценивается как одномоментное решение «ответить или воздержаться»), агентское воздержание представляет собой проблему последовательного принятия решений: на каждом шаге агент может ответить, воздержаться или собрать дополнительную информацию, а необходимость воздержания может стать очевидной только после взаимодействия со средой. Мы изучаем эту проблему в контексте веб-шопинга, терминальных сред и ответов на вопросы, оценивая 13 систем LLM-as-agent и 2 агентских каркаса (scaffolds) на более чем 28 000 задачах. Наши результаты показывают, что основная сложность заключается не только в способности агента воздерживаться, но и в том, *когда* он это делает. Одни агенты никогда не воздерживаются, когда это необходимо, другие — только после множества ненужных взаимодействий. Этот разрыв особенно велик в задачах, где инструкция кажется выполнимой, пока среда не покажет обратное (например, нет валидного результата, соответствующего инструкции). Мы также обнаружили, что масштаб модели, наличие рассуждений и каркас агента влияют на воздержание по-разному: более крупные или более способные модели иногда хуже справляются со своевременным воздержанием. Наконец, мы представляем CONVOLVE — метод контекстной инженерии для улучшения агентского воздержания, который дистиллирует полные траектории взаимодействия в повторно используемые правила остановки. В среде WebShop CONVOLVE существенно улучшает своевременное воздержание без обновления параметров модели, повышая показатель своевременной полноты (timely recall rate) для Llama-3.3-70B с 26,7 до 57,4. Наш набор данных и код доступны по адресу https://lhannnn.github.io/agentic-abstention.

English

LLM agents are expected to act over multiple turns, using search, browsing interfaces, and terminal tools to complete user goals. Yet not every goal is well specified or achievable in the available environment. In such cases, a reliable agent should recognize that further interaction is unlikely to help and abstain from additional tool calls. We define Agentic Abstention, the problem of deciding when an agent should stop acting under uncertainty. Unlike standard LLM abstention, which is usually evaluated as a single-turn answer-or-abstain decision, agentic abstention is a sequential decision problem: an agent can answer, abstain, or gather more information at each turn, and the need to abstain may only become clear after interacting with the environment. We study this problem across web shopping, terminal environments, and question answering, evaluating 13 LLM-as-agent systems and 2 agent scaffolds on more than 28,000 tasks. Our results show that the main challenge is not only whether agents can abstain, but also when they abstain. Some agents never abstain when they should, while others do so only after many unnecessary interactions. This gap is especially large on tasks where the instruction appears feasible until the environment reveals otherwise (e.g., no valid result matches the instruction). We further find that model scale, reasoning, and agent scaffolding affect abstention in different ways, where larger or more capable models sometimes perform worse at timely abstention. Finally, we introduce CONVOLVE, a context engineering method for improving agentic abstention that distills full interaction trajectories into reusable stopping rules. On WebShop, CONVOLVE substantially improves timely abstention without updating model parameters, raising Llama-3.3-70B's timely recall rate from 26.7 to 57.4. Our dataset and code are available at https://lhannnn.github.io/agentic-abstention