Het traceren van agentisch falen vanuit de stroom van succes

Samenvatting

Foutattributie voor op LLM gebaseerde agentische systemen, d.w.z. het identificeren welke stappen in een fouttraject de taak hebben doen mislukken, is cruciaal voor het debuggen en verbeteren van deze systemen. Bestaande benaderingen zijn ofwel afhankelijk van op prompting gebaseerde pijplijnen, die rekenintensief zijn, of vereisen post-training op fouttrajecten met stapsgewijze foutannotaties, die kostbaar zijn om te verzamelen en moeilijk te schalen. Wij stellen dat een praktisch foutattributiemodel lichtgewicht moet zijn en trainbaar zonder stapsgewijze supervisie op foutdata. Daartoe behandelen we ongesuperviseerde foutattributie, d.w.z. uitsluitend trainen op succesvolle trajecten en tijdens inferentie foutstappen identificeren in een gegeven fouttraject. We stellen OAT voor, dat dit probleem formuleert als eenklasse-leren met neurale gecontroleerde differentiaalvergelijkingen, waarbij het dynamische patroon van succesvolle trajecten in de latente ruimte wordt gemodelleerd. Tijdens inferentie krijgt elke stap in een fouttraject een anomaliescore op basis van de afwijking van de dynamiek die op succesvolle trajecten is geleerd, die vervolgens wordt gebruikt om een verzameling foutstappen te vormen. Experimenten met training op slechts 100 succesvolle trajecten tonen aan dat OAT 200 tot 5000 keer sneller is dan op prompting gebaseerde baselines, en tegelijkertijd consistent beter presteert in zowel binnen-domein- als buiten-distributiedatasets, met respectievelijk +20% en +7% F1-scores. Dit laat zien dat OAT een veelbelovende en efficiënte richting is voor het diagnosticeren van fouten in agentische systemen.

English

Failure attribution for LLM-based agentic systems, i.e., identifying which steps in a failure trajectory caused the task to fail, is critical for debugging and improving these systems. Existing approaches either rely on prompting-based pipelines, which are computationally expensive, or require post-training on failure trajectories with step-level error annotations, which are costly to collect and difficult to scale. We argue that a practical failure attribution model should be lightweight and trainable without step-level supervision on failure data. To this end, we address unsupervised failure attribution, i.e., training exclusively on successful trajectories and identifying error steps at inference time given a failure trajectory. We propose OAT, which casts this problem as one-class learning with neural controlled differential equations, modeling the dynamical pattern of successful trajectories in latent space. At inference time, each step in a failure trajectory is assigned an anomaly score based on its deviation from the dynamics learned on successful trajectories, which is then used to form a set of error steps. With training on only 100 successful trajectories, experiments show that OAT is 200--5000 times faster than prompting-based baselines, and, at the same time, consistently outperforms them in both in-domain and out-of-distribution datasets with +20% and +7% F1 scores, respectively, demonstrating that OAT is a promising and efficient direction for diagnosing agentic system failures.