KORREKT: Kondensierte Fehlererkennung durch Wissenstransfer in Multi-Agenten-Systemen

papers.abstract

Multi-Agent-Systeme (MAS) sind zunehmend in der Lage, komplexe Aufgaben in der realen Welt zu bewältigen. Dennoch stellt die Erkennung von Fehlern aufgrund ihrer Abhängigkeit von der Koordination zwischen Agenten, der Werkzeugnutzung und der langfristigen Planung eine besondere Herausforderung dar. Geringfügige Fehler können sich über Agenten hinweg ausbreiten und zu Aufgabenfehlern eskalieren, während sie lange, verflochtene Ausführungspfade erzeugen, die sowohl für menschliche Entwickler als auch für automatisierte Systeme erhebliche Kosten für das Debugging und die Analyse verursachen. Unsere zentrale Erkenntnis ist, dass MAS-Fehler trotz oberflächlicher Unterschiede in den Fehlerpfaden (z. B. Protokolle) oft mit ähnlichen strukturellen Mustern auftreten. Dieses Papier stellt CORRECT vor, den ersten leichtgewichtigen, trainingsfreien Rahmen, der einen Online-Cache von destillierten Fehlerschemata nutzt, um Wissen über Fehlerstrukturen über neue Anfragen hinweg zu erkennen und zu übertragen. Diese cache-basierte Wiederverwendung ermöglicht es LLMs, gezielte Fehlerlokalisierung zur Inferenzzeit durchzuführen, ohne teure Neuanpassungen zu benötigen, und sich in Sekundenbruchteilen an dynamische MAS-Bereitstellungen anzupassen. Um eine rigorose Untersuchung in diesem Bereich zu unterstützen, führen wir auch CORRECT-Error ein, einen umfangreichen Datensatz mit über 2.000 annotierten Pfaden, die durch eine neuartige Fehlerinjektionspipeline gesammelt wurden, die von realen Verteilungen geleitet wird und durch menschliche Bewertung weiter validiert wurde, um die Übereinstimmung mit natürlichen Fehlermustern sicherzustellen. Experimente in sieben verschiedenen MAS-Anwendungen zeigen, dass CORRECT die schrittweise Fehlerlokalisierung um bis zu 19,8 % gegenüber bestehenden Fortschritten verbessert, bei nahezu null Overhead, und damit die Lücke zwischen automatisierter und menschlicher Fehlererkennung erheblich verringert.

English

Multi-agent systems (MAS) are increasingly capable of tackling complex real-world tasks, yet their reliance on inter-agent coordination, tool use, and long-horizon reasoning makes error recognition particularly challenging. Minor errors can propagate across agents, escalating into task failures while producing long, intertwined execution trajectories that impose significant costs for both human developers and automated systems to debug and analyze. Our key insight is that, despite surface differences in failure trajectories (e.g., logs), MAS errors often recur with similar structural patterns. This paper presents CORRECT, the first lightweight, training-free framework that leverages an online cache of distilled error schemata to recognize and transfer knowledge of failure structures across new requests. This cache-based reuse allows LLMs to perform targeted error localization at inference time, avoiding the need for expensive retraining while adapting to dynamic MAS deployments in subseconds. To support rigorous study in this domain, we also introduce CORRECT-Error, a large-scale dataset of over 2,000 annotated trajectories collected through a novel error-injection pipeline guided by real-world distributions, and further validated through human evaluation to ensure alignment with natural failure patterns. Experiments across seven diverse MAS applications show that CORRECT improves step-level error localization up to 19.8% over existing advances while at near-zero overhead, substantially narrowing the gap between automated and human-level error recognition.

KORREKT: Kondensierte Fehlererkennung durch Wissenstransfer in Multi-Agenten-Systemen

CORRECT: COndensed eRror RECognition via knowledge Transfer in multi-agent systems

papers.abstract

Support