DoVer: Interventiegestuurd Automatisch Debuggen voor Multi-Agent Systemen met LLM's
DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems
December 7, 2025
Auteurs: Ming Ma, Jue Zhang, Fangkai Yang, Yu Kang, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang
cs.AI
Samenvatting
Op grote taalmodellen (LLM) gebaseerde multi-agent systemen zijn moeilijk te debuggen omdat fouten vaak ontstaan uit lange, vertakkende interactietrajecten. De gangbare praktijk is om LLM's in te zetten voor log-gebaseerde foutlokalisatie, waarbij fouten worden toegeschreven aan een specifieke agent en stap. Dit paradigma kent echter twee belangrijke beperkingen: (i) debuggen uitsluitend op basis van logs ontbeert validatie en produceert ongeteste hypothesen, en (ii) toeschrijving aan één stap of één agent is vaak onwelgedefinieerd, aangezien wij vaststellen dat meerdere afzonderlijke interventies de mislukte taak onafhankelijk van elkaar kunnen herstellen. Om de eerste beperking aan te pakken, introduceren we DoVer, een interventie-gedreven debugframework, dat hypothesegeneratie aanvult met actieve verificatie via gerichte interventies (bijvoorbeeld het bewerken van berichten, het wijzigen van plannen). Voor de tweede beperking richten we ons, in plaats van op nauwkeurigheid van toeschrijving, op het meten of het systeem de fout herstelt of kwantificeerbare vooruitgang boekt richting taaksucces, wat een meer resultaatgerichte visie op debuggen weerspiegelt. Binnen het Magnetic-One agentframework, op de datasets afgeleid van GAIA en AssistantBench, verandert DoVer 18-28% van de mislukte trials in successen, behaalt het tot 16% mijlpaalvooruitgang, en verifieert of weerlegt het 30-60% van de faalhypothesen. DoVer presteert ook effectief op een andere dataset (GSMPlus) en agentframework (AG2), waar het 49% van de mislukte trials herstelt. Deze resultaten benadrukken interventie als een praktisch mechanisme om de betrouwbaarheid van agent-systemen te verbeteren en creëren mogelijkheden voor robuustere, schaalbaardere debugmethoden voor op LLM gebaseerde multi-agent systemen. De projectwebsite en code zullen beschikbaar zijn op https://aka.ms/DoVer.
English
Large language model (LLM)-based multi-agent systems are challenging to debug because failures often arise from long, branching interaction traces. The prevailing practice is to leverage LLMs for log-based failure localization, attributing errors to a specific agent and step. However, this paradigm has two key limitations: (i) log-only debugging lacks validation, producing untested hypotheses, and (ii) single-step or single-agent attribution is often ill-posed, as we find that multiple distinct interventions can independently repair the failed task. To address the first limitation, we introduce DoVer, an intervention-driven debugging framework, which augments hypothesis generation with active verification through targeted interventions (e.g., editing messages, altering plans). For the second limitation, rather than evaluating on attribution accuracy, we focus on measuring whether the system resolves the failure or makes quantifiable progress toward task success, reflecting a more outcome-oriented view of debugging. Within the Magnetic-One agent framework, on the datasets derived from GAIA and AssistantBench, DoVer flips 18-28% of failed trials into successes, achieves up to 16% milestone progress, and validates or refutes 30-60% of failure hypotheses. DoVer also performs effectively on a different dataset (GSMPlus) and agent framework (AG2), where it recovers 49% of failed trials. These results highlight intervention as a practical mechanism for improving reliability in agentic systems and open opportunities for more robust, scalable debugging methods for LLM-based multi-agent systems. Project website and code will be available at https://aka.ms/DoVer.