Dem agentischen Versagen im Fluss des Erfolgs auf der Spur

Zusammenfassung

Die Fehlerattribution für LLM-basierte agentische Systeme, d.h. die Identifizierung, welche Schritte in einer Fehlertrajektorie zum Scheitern der Aufgabe geführt haben, ist entscheidend für das Debugging und die Verbesserung dieser Systeme. Bestehende Ansätze stützen sich entweder auf prompt-basierte Pipelines, die rechenintensiv sind, oder erfordern ein Nachtraining auf Fehlertrajektorien mit Schritt-für-Schritt-Fehlerannotationen, deren Erhebung kostspielig und schwer skalierbar ist. Wir argumentieren, dass ein praktisches Fehlerattributionsmodell leichtgewichtig und ohne Schritt-für-Schritt-Überwachung auf Fehlerdaten trainierbar sein sollte. Zu diesem Zweck befassen wir uns mit unüberwachter Fehlerattribution, d.h. Training ausschließlich auf erfolgreichen Trajektorien und Identifizierung von Fehlerschritten zur Inferenzzeit bei einer gegebenen Fehlertrajektorie. Wir schlagen OAT vor, das dieses Problem als One-Class-Learning mit neuronalen gesteuerten Differentialgleichungen betrachtet und das dynamische Muster erfolgreicher Trajektorien im latenten Raum modelliert. Zur Inferenzzeit wird jedem Schritt in einer Fehlertrajektorie ein Anomalie-Score basierend auf seiner Abweichung von den auf erfolgreichen Trajektorien gelernten Dynamiken zugewiesen, der dann verwendet wird, um eine Menge von Fehlerschritten zu bilden. Bei Training mit nur 100 erfolgreichen Trajektorien zeigen Experimente, dass OAT 200–5000-mal schneller ist als prompt-basierte Baselines und gleichzeitig diese sowohl auf In-Domain- als auch auf Out-of-Distribution-Datensätzen mit +20% bzw. +7% F1-Scores durchweg übertrifft, was zeigt, dass OAT eine vielversprechende und effiziente Richtung zur Diagnose von agentischen Systemfehlern darstellt.

English

Failure attribution for LLM-based agentic systems, i.e., identifying which steps in a failure trajectory caused the task to fail, is critical for debugging and improving these systems. Existing approaches either rely on prompting-based pipelines, which are computationally expensive, or require post-training on failure trajectories with step-level error annotations, which are costly to collect and difficult to scale. We argue that a practical failure attribution model should be lightweight and trainable without step-level supervision on failure data. To this end, we address unsupervised failure attribution, i.e., training exclusively on successful trajectories and identifying error steps at inference time given a failure trajectory. We propose OAT, which casts this problem as one-class learning with neural controlled differential equations, modeling the dynamical pattern of successful trajectories in latent space. At inference time, each step in a failure trajectory is assigned an anomaly score based on its deviation from the dynamics learned on successful trajectories, which is then used to form a set of error steps. With training on only 100 successful trajectories, experiments show that OAT is 200--5000 times faster than prompting-based baselines, and, at the same time, consistently outperforms them in both in-domain and out-of-distribution datasets with +20% and +7% F1 scores, respectively, demonstrating that OAT is a promising and efficient direction for diagnosing agentic system failures.