DoVer: Автоматизированная отладка на основе вмешательств для мультиагентных систем больших языковых моделей

DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems

December 7, 2025

Авторы: Ming Ma, Jue Zhang, Fangkai Yang, Yu Kang, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang

cs.AI

Аннотация

Многоагентные системы на основе больших языковых моделей (LLM) сложно отлаживать, поскольку сбои часто возникают из-за длинных, разветвленных цепочек взаимодействий. Существующая практика предполагает использование LLM для локализации сбоев на основе логов, приписывая ошибки конкретному агенту и шагу. Однако у этой парадигмы есть два ключевых ограничения: (i) отладка только по логам не включает валидацию, порождая непроверенные гипотезы, и (ii) приписывание сбоя одному шагу или агенту часто является некорректно поставленной задачей, поскольку, как мы выяснили, несколько различных вмешательств могут независимо исправить провалившуюся задачу. Чтобы устранить первое ограничение, мы представляем DoVer — фреймворк для отладки, управляемой вмешательствами, который дополняет генерацию гипотез активной проверкой с помощью целевых вмешательств (например, редактирования сообщений, изменения планов). Для второго ограничения, вместо оценки точности атрибуции, мы фокусируемся на измерении того, устраняет ли система сбой или достигает количественного прогресса в успешном выполнении задачи, что отражает более ориентированный на результат взгляд на отладку. В рамках агентского фреймворка Magnetic-One, на наборах данных, производных от GAIA и AssistantBench, DoVer превращает 18–28% неудачных попыток в успешные, достигает до 16% прогресса по ключевым этапам, а также подтверждает или опровергает 30–60% гипотез о сбоях. DoVer также эффективно работает на другом наборе данных (GSMPlus) и в другом агентском фреймворке (AG2), где он восстанавливает 49% неудачных попыток. Эти результаты подчеркивают вмешательство как практический механизм повышения надежности агентских систем и открывают возможности для создания более robust и масштабируемых методов отладки многоагентных систем на основе LLM. Веб-сайт проекта и код будут доступны по адресу https://aka.ms/DoVer.

English

Large language model (LLM)-based multi-agent systems are challenging to debug because failures often arise from long, branching interaction traces. The prevailing practice is to leverage LLMs for log-based failure localization, attributing errors to a specific agent and step. However, this paradigm has two key limitations: (i) log-only debugging lacks validation, producing untested hypotheses, and (ii) single-step or single-agent attribution is often ill-posed, as we find that multiple distinct interventions can independently repair the failed task. To address the first limitation, we introduce DoVer, an intervention-driven debugging framework, which augments hypothesis generation with active verification through targeted interventions (e.g., editing messages, altering plans). For the second limitation, rather than evaluating on attribution accuracy, we focus on measuring whether the system resolves the failure or makes quantifiable progress toward task success, reflecting a more outcome-oriented view of debugging. Within the Magnetic-One agent framework, on the datasets derived from GAIA and AssistantBench, DoVer flips 18-28% of failed trials into successes, achieves up to 16% milestone progress, and validates or refutes 30-60% of failure hypotheses. DoVer also performs effectively on a different dataset (GSMPlus) and agent framework (AG2), where it recovers 49% of failed trials. These results highlight intervention as a practical mechanism for improving reliability in agentic systems and open opportunities for more robust, scalable debugging methods for LLM-based multi-agent systems. Project website and code will be available at https://aka.ms/DoVer.