DoVer : Débogage Automatisé par Intervention pour les Systèmes Multi-Agents de LLM

papers.abstract

Les systèmes multi-agents basés sur de grands modèles de langage (LLM) sont difficiles à déboguer car les défaillances émergent souvent de traces d'interaction longues et ramifiées. La pratique courante consiste à exploiter les LLM pour la localisation des erreurs basée sur les journaux, en attribuant les fautes à un agent et une étape spécifiques. Cependant, ce paradigme présente deux limitations majeures : (i) le débogage par journaux seul manque de validation, produisant des hypothèses non testées, et (ii) l'attribution à une seule étape ou un seul agent est souvent mal posée, car nous constatons que plusieurs interventions distinctes peuvent réparer indépendamment la tâche défaillante. Pour résoudre la première limitation, nous présentons DoVer, un cadre de débogage piloté par l'intervention, qui enrichit la génération d'hypothèses par une vérification active via des interventions ciblées (par exemple, modifier des messages, ajuster des plans). Pour la seconde limitation, plutôt que d'évaluer la précision de l'attribution, nous nous concentrons sur la mesure de la capacité du système à résoudre l'échec ou à réaliser des progrès quantifiables vers la réussite de la tâche, reflétant une vision plus orientée résultats du débogage. Au sein du cadre agent Magnetic-One, sur les jeux de données dérivés de GAIA et AssistantBench, DoVer transforme 18 à 28 % des essais échoués en succès, réalise jusqu'à 16 % de progrès vers des étapes clés, et valide ou réfute 30 à 60 % des hypothèses d'échec. DoVer performe également efficacement sur un autre jeu de données (GSMPlus) et cadre agent (AG2), où il récupère 49 % des essais échoués. Ces résultats soulignent l'intervention comme un mécanisme pratique pour améliorer la fiabilité des systèmes agentiques et ouvrent des perspectives pour des méthodes de débogage plus robustes et évolutives pour les systèmes multi-agents basés sur les LLM. Le site web du projet et le code seront disponibles à l'adresse https://aka.ms/DoVer.

English

Large language model (LLM)-based multi-agent systems are challenging to debug because failures often arise from long, branching interaction traces. The prevailing practice is to leverage LLMs for log-based failure localization, attributing errors to a specific agent and step. However, this paradigm has two key limitations: (i) log-only debugging lacks validation, producing untested hypotheses, and (ii) single-step or single-agent attribution is often ill-posed, as we find that multiple distinct interventions can independently repair the failed task. To address the first limitation, we introduce DoVer, an intervention-driven debugging framework, which augments hypothesis generation with active verification through targeted interventions (e.g., editing messages, altering plans). For the second limitation, rather than evaluating on attribution accuracy, we focus on measuring whether the system resolves the failure or makes quantifiable progress toward task success, reflecting a more outcome-oriented view of debugging. Within the Magnetic-One agent framework, on the datasets derived from GAIA and AssistantBench, DoVer flips 18-28% of failed trials into successes, achieves up to 16% milestone progress, and validates or refutes 30-60% of failure hypotheses. DoVer also performs effectively on a different dataset (GSMPlus) and agent framework (AG2), where it recovers 49% of failed trials. These results highlight intervention as a practical mechanism for improving reliability in agentic systems and open opportunities for more robust, scalable debugging methods for LLM-based multi-agent systems. Project website and code will be available at https://aka.ms/DoVer.

DoVer : Débogage Automatisé par Intervention pour les Systèmes Multi-Agents de LLM

DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems

papers.abstract

Support