КОРРЕКТ: КОНденсированное РАспознавание ОШибок через ПЕредачу Знаний в многоагентных системах

CORRECT: COndensed eRror RECognition via knowledge Transfer in multi-agent systems

September 28, 2025

Авторы: Yifan Yu, Moyan Li, Shaoyuan Xu, Jinmiao Fu, Xinhai Hou, Fan Lai, Bryan Wang

cs.AI

Аннотация

Многоагентные системы (MAS) становятся все более способными решать сложные задачи реального мира, однако их зависимость от межагентной координации, использования инструментов и долгосрочного планирования делает распознавание ошибок особенно сложным. Незначительные ошибки могут распространяться между агентами, перерастая в сбои задач, при этом создавая длинные, переплетенные траектории выполнения, что накладывает значительные затраты на отладку и анализ как для разработчиков, так и для автоматизированных систем. Наше ключевое наблюдение заключается в том, что, несмотря на поверхностные различия в траекториях сбоев (например, в логах), ошибки в MAS часто повторяются с похожими структурными паттернами. В данной статье представлен CORRECT — первый легковесный, не требующий обучения фреймворк, который использует онлайн-кэш сжатых схем ошибок для распознавания и передачи знаний о структурах сбоев при обработке новых запросов. Такой кэшированный повтор позволяет языковым моделям (LLM) выполнять целенаправленную локализацию ошибок во время вывода, избегая необходимости дорогостоящего переобучения и адаптируясь к динамическим развертываниям MAS за доли секунды. Для поддержки строгого изучения в этой области мы также представляем CORRECT-Error — крупномасштабный набор данных, содержащий более 2000 аннотированных траекторий, собранных с помощью инновационного конвейера внедрения ошибок, основанного на реальных распределениях и дополнительно проверенного с помощью человеческой оценки для обеспечения соответствия естественным паттернам сбоев. Эксперименты в семи различных приложениях MAS показывают, что CORRECT улучшает локализацию ошибок на уровне шагов до 19,8% по сравнению с существующими достижениями при практически нулевых накладных расходах, существенно сокращая разрыв между автоматизированным и человеческим уровнем распознавания ошибок.

English

Multi-agent systems (MAS) are increasingly capable of tackling complex real-world tasks, yet their reliance on inter-agent coordination, tool use, and long-horizon reasoning makes error recognition particularly challenging. Minor errors can propagate across agents, escalating into task failures while producing long, intertwined execution trajectories that impose significant costs for both human developers and automated systems to debug and analyze. Our key insight is that, despite surface differences in failure trajectories (e.g., logs), MAS errors often recur with similar structural patterns. This paper presents CORRECT, the first lightweight, training-free framework that leverages an online cache of distilled error schemata to recognize and transfer knowledge of failure structures across new requests. This cache-based reuse allows LLMs to perform targeted error localization at inference time, avoiding the need for expensive retraining while adapting to dynamic MAS deployments in subseconds. To support rigorous study in this domain, we also introduce CORRECT-Error, a large-scale dataset of over 2,000 annotated trajectories collected through a novel error-injection pipeline guided by real-world distributions, and further validated through human evaluation to ensure alignment with natural failure patterns. Experiments across seven diverse MAS applications show that CORRECT improves step-level error localization up to 19.8% over existing advances while at near-zero overhead, substantially narrowing the gap between automated and human-level error recognition.