행위적 절제: 에이전트는 행동 대신 멈춤을 알아야 하는가?

초록

LLM 에이전트는 검색, 브라우징 인터페이스, 터미널 도구를 활용하여 여러 차례의 상호작용을 통해 사용자 목표를 완수할 것으로 기대된다. 그러나 모든 목표가 명확히 지정되거나 사용 가능한 환경에서 달성 가능한 것은 아니다. 이러한 경우, 신뢰할 수 있는 에이전트는 추가 상호작용이 도움이 되지 않을 것임을 인지하고 더 이상의 도구 호출을 중단해야 한다. 본 연구에서는 불확실성 하에서 에이전트가 언제 행동을 중단해야 하는지를 결정하는 문제인 에이전트적 기권(Agentic Abstention)을 정의한다. 일반적으로 단일 턴의 응답 또는 기권 결정으로 평가되는 표준 LLM 기권과 달리, 에이전트적 기권은 순차적 의사결정 문제로, 에이전트는 각 턴에서 응답, 기권, 또는 추가 정보 수집을 선택할 수 있으며, 기권의 필요성은 환경과 상호작용한 이후에야 명확해질 수 있다. 본 연구는 웹 쇼핑, 터미널 환경, 질의응답 전반에 걸쳐 이 문제를 다루며, 13개의 LLM-as-agent 시스템과 2개의 에이전트 스캐폴드(agent scaffold)를 28,000개 이상의 태스크에서 평가한다. 실험 결과는 핵심 과제가 에이전트가 기권할 수 있는지 여부뿐만 아니라 언제 기권하는지에도 있음을 보여준다. 일부 에이전트는 기권해야 할 때 절대 기권하지 않는 반면, 다른 에이전트는 많은 불필요한 상호작용 이후에야 기권한다. 이러한 격차는 지시사항이 환경에 의해 달리 드러나기 전까지는 실행 가능해 보이는 태스크(예: 지시사항과 일치하는 유효한 결과가 없는 경우)에서 특히 크게 나타난다. 또한 모델 규모, 추론 능력, 에이전트 스캐폴딩이 기권에 서로 다른 방식으로 영향을 미치며, 더 크거나 더 강력한 모델이 때로는 적시 기권(timely abstention) 성능이 더 낮다는 점을 발견했다. 마지막으로, 전체 상호작용 궤적을 재사용 가능한 중단 규칙으로 증류하는 컨텍스트 엔지니어링 기법인 CONVOLVE를 도입하여 에이전트적 기권을 개선한다. WebShop에서 CONVOLVE는 모델 파라미터를 업데이트하지 않고도 적시 기권을 크게 개선하여, Llama-3.3-70B의 적시 재현율을 26.7에서 57.4로 향상시켰다. 데이터셋과 코드는 https://lhannnn.github.io/agentic-abstention에서 확인할 수 있다.

English

LLM agents are expected to act over multiple turns, using search, browsing interfaces, and terminal tools to complete user goals. Yet not every goal is well specified or achievable in the available environment. In such cases, a reliable agent should recognize that further interaction is unlikely to help and abstain from additional tool calls. We define Agentic Abstention, the problem of deciding when an agent should stop acting under uncertainty. Unlike standard LLM abstention, which is usually evaluated as a single-turn answer-or-abstain decision, agentic abstention is a sequential decision problem: an agent can answer, abstain, or gather more information at each turn, and the need to abstain may only become clear after interacting with the environment. We study this problem across web shopping, terminal environments, and question answering, evaluating 13 LLM-as-agent systems and 2 agent scaffolds on more than 28,000 tasks. Our results show that the main challenge is not only whether agents can abstain, but also when they abstain. Some agents never abstain when they should, while others do so only after many unnecessary interactions. This gap is especially large on tasks where the instruction appears feasible until the environment reveals otherwise (e.g., no valid result matches the instruction). We further find that model scale, reasoning, and agent scaffolding affect abstention in different ways, where larger or more capable models sometimes perform worse at timely abstention. Finally, we introduce CONVOLVE, a context engineering method for improving agentic abstention that distills full interaction trajectories into reusable stopping rules. On WebShop, CONVOLVE substantially improves timely abstention without updating model parameters, raising Llama-3.3-70B's timely recall rate from 26.7 to 57.4. Our dataset and code are available at https://lhannnn.github.io/agentic-abstention