AgentForesight: Online Auditing voor Vroegtijdige Foutvoorspelling in Multi-Agentsystemen

Samenvatting

Op LLM gebaseerde multi-agent systemen worden steeds vaker ingezet voor langdurige taken, maar een enkele fatale fout wordt vaak geaccepteerd door downstream agenten en escaleert tot een trajectbrede mislukking. Bestaand werk kadert dit als post-hoc fouttoewijzing, waarbij de verantwoordelijke agent en stap worden gediagnosticeerd nadat het traject is beëindigd. Dit paradigma laat echter elke mogelijkheid tot ingrijpen verloren gaan terwijl het traject nog gaande is. In dit werk introduceren we AgentForesight, een raamwerk dat dit probleem herdefinieert als online auditing: bij elke stap van een zich ontvouwend traject observeert een auditor alleen het huidige prefix en moet hij ofwel de uitvoering voortzetten of alarm slaan bij de eerste fatale fout, zonder toegang tot toekomstige stappen. Hiertoe cureren we AFTraj-2K, een corpus van agentische trajecten in de domeinen Coderen, Wiskunde en Agentisch, waarin veilige trajecten worden behouden via een strikte curatiepijplijn en onveilige trajecten worden geannoteerd op de stap van hun fatale fout via consensus onder meerdere LLM-beoordelaars. Hierop voortbouwend ontwikkelen we AgentForesight-7B, een compacte online auditor getraind met een grof-naar-fijn reinforcement learning recept dat het eerst uitrust met een risico-anticiperende prior op de faalgrens van aangrenzende veilige/onveilige prefixparen, en deze prior vervolgens aanscherpt tot nauwkeurige stapniveau-lokalisatie onder een drie-assige beloning die gezamenlijk het wat, waar en wie van een auditvonnis target. In AFTraj-2K en een externe Who\&When-benchmark overtreft AgentForesight-7B toonaangevende propriëtaire modellen, waaronder GPT-4.1 en DeepSeek-V4-Pro, met een prestatieverbetering tot +19,9% en een 3 keer lagere stap-lokalisatiefout, waarmee de cirkel van post-hoc foutdetectie naar interventie tijdens implementatie wordt gesloten. Projectpagina: https://zbox1005.github.io/agent-foresight/

English

LLM-based multi-agent systems are increasingly deployed on long-horizon tasks, but a single decisive error is often accepted by downstream agents and cascades into trajectory-level failure. Existing work frames this as post-hoc failure attribution, diagnosing the responsible agent and step after the trajectory has ended. However, this paradigm forfeits any opportunity to intervene while trajectory is still unfolding. In this work, we introduce AgentForesight, a framework that reframes this problem as online auditing: at each step of an unfolding trajectory, an auditor observes only the current prefix and must either continue the run or alarm at the earliest decisive error, without access to future steps. To this end, we curate AFTraj-2K, a corpus of agentic trajectories across Coding, Math, and Agentic domains, in which safe trajectories are retained under a strict curation pipeline and unsafe trajectories are annotated at the step of their decisive error via consensus among multiple LLM judges. Built on that, we develop AgentForesight-7B, a compact online auditor trained with a coarse-to-fine reinforcement learning recipe that first equips it with a risk-anticipation prior at the failure boundary on adjacent safe/unsafe prefix pairs, then sharpens this prior into precise step-level localization under a three-axis reward jointly targeting the what, where, and who of an audit verdict. Across AFTraj-2K and an external Who\&When benchmark, AgentForesight-7B outperforms leading proprietary models, including GPT-4.1 and DeepSeek-V4-Pro, achieving up to +19.9% performance gain and 3times lower step localization error, opening the loop from post-hoc failures detection to enabling deployment-time intervention. Project page: https://zbox1005.github.io/agent-foresight/