CORRETO: Reconhecimento de Erros Condensados via Transferência de Conhecimento em Sistemas Multiagentes

CORRECT: COndensed eRror RECognition via knowledge Transfer in multi-agent systems

September 28, 2025

Autores: Yifan Yu, Moyan Li, Shaoyuan Xu, Jinmiao Fu, Xinhai Hou, Fan Lai, Bryan Wang

cs.AI

Resumo

Sistemas multiagentes (MAS) estão se tornando cada vez mais capazes de lidar com tarefas complexas do mundo real, mas sua dependência de coordenação entre agentes, uso de ferramentas e raciocínio de longo prazo torna o reconhecimento de erros particularmente desafiador. Pequenos erros podem se propagar entre os agentes, escalando para falhas na execução da tarefa enquanto geram trajetórias de execução longas e entrelaçadas, impondo custos significativos tanto para desenvolvedores humanos quanto para sistemas automatizados depurarem e analisarem. Nossa principal percepção é que, apesar das diferenças superficiais nas trajetórias de falha (por exemplo, logs), os erros em MAS frequentemente se repetem com padrões estruturais semelhantes. Este artigo apresenta o CORRECT, o primeiro framework leve e sem necessidade de treinamento que utiliza um cache online de esquemas de erros destilados para reconhecer e transferir o conhecimento de estruturas de falhas em novas requisições. Essa reutilização baseada em cache permite que LLMs realizem localização de erros direcionada durante a inferência, evitando a necessidade de retreinamento caro enquanto se adapta a implantações dinâmicas de MAS em frações de segundo. Para apoiar um estudo rigoroso nesse domínio, também introduzimos o CORRECT-Error, um conjunto de dados em larga escala com mais de 2.000 trajetórias anotadas coletadas por meio de um pipeline de injeção de erros guiado por distribuições do mundo real e validado por avaliação humana para garantir alinhamento com padrões naturais de falha. Experimentos em sete aplicações diversas de MAS mostram que o CORRECT melhora a localização de erros em nível de etapa em até 19,8% em relação aos avanços existentes, com sobrecarga próxima de zero, reduzindo substancialmente a lacuna entre o reconhecimento de erros automatizado e o nível humano.

English

Multi-agent systems (MAS) are increasingly capable of tackling complex real-world tasks, yet their reliance on inter-agent coordination, tool use, and long-horizon reasoning makes error recognition particularly challenging. Minor errors can propagate across agents, escalating into task failures while producing long, intertwined execution trajectories that impose significant costs for both human developers and automated systems to debug and analyze. Our key insight is that, despite surface differences in failure trajectories (e.g., logs), MAS errors often recur with similar structural patterns. This paper presents CORRECT, the first lightweight, training-free framework that leverages an online cache of distilled error schemata to recognize and transfer knowledge of failure structures across new requests. This cache-based reuse allows LLMs to perform targeted error localization at inference time, avoiding the need for expensive retraining while adapting to dynamic MAS deployments in subseconds. To support rigorous study in this domain, we also introduce CORRECT-Error, a large-scale dataset of over 2,000 annotated trajectories collected through a novel error-injection pipeline guided by real-world distributions, and further validated through human evaluation to ensure alignment with natural failure patterns. Experiments across seven diverse MAS applications show that CORRECT improves step-level error localization up to 19.8% over existing advances while at near-zero overhead, substantially narrowing the gap between automated and human-level error recognition.