DoVer: Depuração Automática Orientada por Intervenção para Sistemas Multiagente de LLM
DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems
December 7, 2025
Autores: Ming Ma, Jue Zhang, Fangkai Yang, Yu Kang, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang
cs.AI
Resumo
Os sistemas multiagente baseados em modelos de linguagem de grande escala (LLM) são difíceis de depurar porque as falhas geralmente surgem de traços de interação longos e ramificados. A prática predominante é alavancar LLMs para localização de falhas baseada em logs, atribuindo erros a um agente e etapa específicos. No entanto, este paradigma tem duas limitações principais: (i) a depuração baseada apenas em logs carece de validação, produzindo hipóteses não testadas, e (ii) a atribuição de uma única etapa ou único agente é frequentemente mal formulada, uma vez que descobrimos que múltiplas intervenções distintas podem reparar independentemente a tarefa com falha. Para abordar a primeira limitação, introduzimos o DoVer, uma estrutura de depuração orientada a intervenções, que aumenta a geração de hipóteses com verificação ativa por meio de intervenções direcionadas (por exemplo, editar mensagens, alterar planos). Para a segunda limitação, em vez de avaliar a precisão da atribuição, focamos em medir se o sistema resolve a falha ou faz progresso quantificável em direção ao sucesso da tarefa, refletindo uma visão mais orientada a resultados da depuração. Dentro da estrutura de agentes Magnetic-One, nos conjuntos de dados derivados do GAIA e do AssistantBench, o DoVer converte 18-28% dos testes com falha em sucessos, alcança até 16% de progresso em marcos e valida ou refuta 30-60% das hipóteses de falha. O DoVer também tem um desempenho eficaz em um conjunto de dados diferente (GSMPlus) e estrutura de agentes (AG2), onde recupera 49% dos testes com falha. Estes resultados destacam a intervenção como um mecanismo prático para melhorar a confiabilidade em sistemas de agentes e abrem oportunidades para métodos de depuração mais robustos e escaláveis para sistemas multiagente baseados em LLM. O site do projeto e o código estarão disponíveis em https://aka.ms/DoVer.
English
Large language model (LLM)-based multi-agent systems are challenging to debug because failures often arise from long, branching interaction traces. The prevailing practice is to leverage LLMs for log-based failure localization, attributing errors to a specific agent and step. However, this paradigm has two key limitations: (i) log-only debugging lacks validation, producing untested hypotheses, and (ii) single-step or single-agent attribution is often ill-posed, as we find that multiple distinct interventions can independently repair the failed task. To address the first limitation, we introduce DoVer, an intervention-driven debugging framework, which augments hypothesis generation with active verification through targeted interventions (e.g., editing messages, altering plans). For the second limitation, rather than evaluating on attribution accuracy, we focus on measuring whether the system resolves the failure or makes quantifiable progress toward task success, reflecting a more outcome-oriented view of debugging. Within the Magnetic-One agent framework, on the datasets derived from GAIA and AssistantBench, DoVer flips 18-28% of failed trials into successes, achieves up to 16% milestone progress, and validates or refutes 30-60% of failure hypotheses. DoVer also performs effectively on a different dataset (GSMPlus) and agent framework (AG2), where it recovers 49% of failed trials. These results highlight intervention as a practical mechanism for improving reliability in agentic systems and open opportunities for more robust, scalable debugging methods for LLM-based multi-agent systems. Project website and code will be available at https://aka.ms/DoVer.