Agentische Enthaltung: Wissen Agenten, wann sie innehalten statt handeln sollten?

Zusammenfassung

LLM-Agenten sollen über mehrere Interaktionen hinweg handeln, dabei Such-, Browser-Schnittstellen und Terminal-Werkzeuge nutzen, um Benutzerziele zu erreichen. Allerdings ist nicht jedes Ziel gut spezifiziert oder in der verfügbaren Umgebung erreichbar. In solchen Fällen sollte ein zuverlässiger Agent erkennen, dass weitere Interaktionen wahrscheinlich nicht weiterhelfen, und von zusätzlichen Werkzeugaufrufen absehen. Wir definieren **agentische Enthaltung** – das Problem, zu entscheiden, wann ein Agent unter Unsicherheit aufhören sollte zu handeln. Im Gegensatz zur standardmäßigen LLM-Enthaltung, die üblicherweise als einmalige Entscheidung zwischen Antwort und Enthaltung bewertet wird, handelt es sich bei der agentischen Enthaltung um ein sequenzielles Entscheidungsproblem: Ein Agent kann bei jedem Schritt antworten, sich enthalten oder weitere Informationen sammeln, und die Notwendigkeit zur Enthaltung wird möglicherweise erst nach Interaktion mit der Umgebung klar. Wir untersuchen dieses Problem in den Bereichen Web-Shopping, Terminal-Umgebungen und Fragebeantwortung und evaluieren 13 LLM-Agent-Systeme sowie 2 Agent-Scaffolds anhand von über 28.000 Aufgaben. Unsere Ergebnisse zeigen, dass die Hauptherausforderung nicht nur darin besteht, ob Agenten sich enthalten können, sondern auch, wann sie dies tun. Manche Agenten enthalten sich nie, wenn sie es sollten, andere erst nach vielen unnötigen Interaktionen. Diese Lücke ist besonders groß bei Aufgaben, bei denen die Anweisung machbar erscheint, bis die Umgebung das Gegenteil offenbart (z. B. kein gültiges Ergebnis passt zur Anweisung). Zudem stellen wir fest, dass Modellgröße, Reasoning und Agent-Scaffolding die Enthaltung auf unterschiedliche Weise beeinflussen, wobei größere oder leistungsfähigere Modelle manchmal schlechter bei rechtzeitiger Enthaltung abschneiden. Abschließend führen wir **CONVOLVE** ein, eine Methode des Kontextengineerings zur Verbesserung agentischer Enthaltung, die vollständige Interaktionsverläufe in wiederverwendbare Stoppregeln destilliert. Auf WebShop verbessert CONVOLVE die rechtzeitige Enthaltung erheblich, ohne Modellparameter zu aktualisieren, und steigert die rechtzeitige Erkennungsrate von Llama-3.3-70B von 26,7 auf 57,4. Unser Datensatz und Code sind verfügbar unter https://lhannnn.github.io/agentic-abstention.

English

LLM agents are expected to act over multiple turns, using search, browsing interfaces, and terminal tools to complete user goals. Yet not every goal is well specified or achievable in the available environment. In such cases, a reliable agent should recognize that further interaction is unlikely to help and abstain from additional tool calls. We define Agentic Abstention, the problem of deciding when an agent should stop acting under uncertainty. Unlike standard LLM abstention, which is usually evaluated as a single-turn answer-or-abstain decision, agentic abstention is a sequential decision problem: an agent can answer, abstain, or gather more information at each turn, and the need to abstain may only become clear after interacting with the environment. We study this problem across web shopping, terminal environments, and question answering, evaluating 13 LLM-as-agent systems and 2 agent scaffolds on more than 28,000 tasks. Our results show that the main challenge is not only whether agents can abstain, but also when they abstain. Some agents never abstain when they should, while others do so only after many unnecessary interactions. This gap is especially large on tasks where the instruction appears feasible until the environment reveals otherwise (e.g., no valid result matches the instruction). We further find that model scale, reasoning, and agent scaffolding affect abstention in different ways, where larger or more capable models sometimes perform worse at timely abstention. Finally, we introduce CONVOLVE, a context engineering method for improving agentic abstention that distills full interaction trajectories into reusable stopping rules. On WebShop, CONVOLVE substantially improves timely abstention without updating model parameters, raising Llama-3.3-70B's timely recall rate from 26.7 to 57.4. Our dataset and code are available at https://lhannnn.github.io/agentic-abstention