Signaux : Échantillonnage des trajectoires et triage pour les interactions agentives
Signals: Trajectory Sampling and Triage for Agentic Interactions
April 1, 2026
Auteurs: Shuguang Chen, Adil Hafeez, Salman Paracha
cs.AI
Résumé
Les applications agentiques basées sur les grands modèles de langage reposent de plus en plus sur des boucles d'interaction multi-étapes impliquant la planification, l'exécution d'actions et le retour d'environnement. Bien que ces systèmes soient désormais déployés à grande échelle, leur amélioration post-déploiement reste difficile. Les trajectoires des agents sont volumineuses et non déterministes, et l'examen de chacune d'elles, que ce soit par une revue humaine ou par des LLM auxiliaires, est lent et économiquement prohibitif. Nous proposons un cadre léger, basé sur des signaux, pour le triage des trajectoires d'interaction agentiques. Notre approche calcule des signaux peu coûteux et largement applicables à partir des interactions en direct et les attache en tant qu'attributs structurés pour le triage des trajectoires, identifiant ainsi les interactions susceptibles d'être informatives sans affecter le comportement en ligne de l'agent. Nous organisons les signaux en une taxonomie à grain grossier couvrant l'interaction (désalignement, stagnation, désengagement, satisfaction), l'exécution (échec, boucle) et l'environnement (épuisement), conçue pour un calcul sans appels de modèle. Dans une étude d'annotation contrôlée sur τ-bench, un benchmark largement utilisé pour l'évaluation d'agents augmentés par outils, nous montrons que l'échantillonnage basé sur les signaux atteint un taux d'informativité de 82 % contre 74 % pour le filtrage heuristique et 54 % pour l'échantillonnage aléatoire, avec un gain d'efficacité de 1,52x par trajectoire informative. L'avantage est robuste across les strates de récompense et les domaines de tâches, confirmant que les signaux procurent de réels gains d'informativité par trajectoire plutôt que de simplement suréchantillonner les échecs évidents. Ces résultats montrent que des signaux légers peuvent servir d'infrastructure d'échantillonnage pratique pour les systèmes agentiques, et suggèrent une voie vers la construction de données de préférence et l'optimisation post-déploiement.
English
Agentic applications based on large language models increasingly rely on multi-step interaction loops involving planning, action execution, and environment feedback. While such systems are now deployed at scale, improving them post-deployment remains challenging. Agent trajectories are voluminous and non-deterministic, and reviewing each one, whether through human review or auxiliary LLMs, is slow and cost-prohibitive. We propose a lightweight, signal-based framework for triaging agentic interaction trajectories. Our approach computes cheap, broadly applicable signals from live interactions and attaches them as structured attributes for trajectory triage, identifying interactions likely to be informative without affecting online agent behavior. We organize signals into a coarse-grained taxonomy spanning interaction (misalignment, stagnation, disengagement, satisfaction), execution (failure, loop), and environment (exhaustion), designed for computation without model calls. In a controlled annotation study on τ-bench, a widely used benchmark for tool-augmented agent evaluation, we show that signal-based sampling achieves an 82\% informativeness rate compared to 74\% for heuristic filtering and 54\% for random sampling, with a 1.52x efficiency gain per informative trajectory. The advantage is robust across reward strata and task domains, confirming that signals provide genuine per-trajectory informativeness gains rather than merely oversampling obvious failures. These results show that lightweight signals can serve as practical sampling infrastructure for agentic systems, and suggest a path toward preference data construction and post-deployment optimization.