Signale: Trajektorienabtastung und Priorisierung für agentenbasierte Interaktionen
Signals: Trajectory Sampling and Triage for Agentic Interactions
April 1, 2026
Autoren: Shuguang Chen, Adil Hafeez, Salman Paracha
cs.AI
Zusammenfassung
Agentische Anwendungen auf Basis großer Sprachmodelle nutzen zunehmend mehrstufige Interaktionsschleifen, die Planung, Aktionsausführung und Umweltfeedback umfassen. Obwohl solche Systeme inzwischen in großem Maßstab eingesetzt werden, bleibt ihre Verbesserung nach dem Deployment eine Herausforderung. Agenten-Trajektorien sind umfangreich und nicht-deterministisch, und die Überprüfung jeder einzelnen – ob durch menschliche Begutachtung oder Hilfs-LLMs – ist langsam und kostenintensiv. Wir schlagen ein leichtgewichtiges, signalbasiertes Framework zur Priorisierung (Triage) von agentischen Interaktions-Trajektorien vor. Unser Ansatz berechnet kostengünstige, breit anwendbare Signale aus Live-Interaktionen und hängt sie als strukturierte Attribute für die Trajektorien-Triage an, um wahrscheinlich aufschlussreiche Interaktionen zu identifizieren, ohne das Online-Verhalten des Agenten zu beeinflussen. Wir ordnen die Signale in eine grobe Taxonomie ein, die Interaktion (Fehlausrichtung, Stagnation, Loslösung, Zufriedenheit), Ausführung (Fehler, Schleife) und Umwelt (Erschöpfung) umfasst und für die Berechnung ohne Modellaufrufe konzipiert ist. In einer kontrollierten Annotationsstudie auf τ-bench, einem weit verbreiteten Benchmark für die Bewertung werkzeuggestützter Agenten, zeigen wir, dass signalbasiertes Sampling eine Informativitätsrate von 82 % erreicht, verglichen mit 74 % für heuristische Filterung und 54 % für zufällige Stichproben, bei einem Effizienzgewinn von 1,52x pro informativer Trajektorie. Der Vorteil ist robust über Belohnungsschichten und Aufgabenbereiche hinweg und bestätigt, dass Signale echte Informativitätsgewinne pro Trajektorie liefern und nicht nur offensichtliche Fehler überproportional erfassen. Diese Ergebnisse zeigen, dass leichtgewichtige Signale als praktische Sampling-Infrastruktur für agentische Systeme dienen können, und weisen einen Weg zur Konstruktion von Präferenzdaten und Post-Deployment-Optimierung.
English
Agentic applications based on large language models increasingly rely on multi-step interaction loops involving planning, action execution, and environment feedback. While such systems are now deployed at scale, improving them post-deployment remains challenging. Agent trajectories are voluminous and non-deterministic, and reviewing each one, whether through human review or auxiliary LLMs, is slow and cost-prohibitive. We propose a lightweight, signal-based framework for triaging agentic interaction trajectories. Our approach computes cheap, broadly applicable signals from live interactions and attaches them as structured attributes for trajectory triage, identifying interactions likely to be informative without affecting online agent behavior. We organize signals into a coarse-grained taxonomy spanning interaction (misalignment, stagnation, disengagement, satisfaction), execution (failure, loop), and environment (exhaustion), designed for computation without model calls. In a controlled annotation study on τ-bench, a widely used benchmark for tool-augmented agent evaluation, we show that signal-based sampling achieves an 82\% informativeness rate compared to 74\% for heuristic filtering and 54\% for random sampling, with a 1.52x efficiency gain per informative trajectory. The advantage is robust across reward strata and task domains, confirming that signals provide genuine per-trajectory informativeness gains rather than merely oversampling obvious failures. These results show that lightweight signals can serve as practical sampling infrastructure for agentic systems, and suggest a path toward preference data construction and post-deployment optimization.