Señales: Muestreo de Trayectorias y Triaje para Interacciones Agentes

Signals: Trajectory Sampling and Triage for Agentic Interactions

April 1, 2026

Autores: Shuguang Chen, Adil Hafeez, Salman Paracha

cs.AI

Resumen

Las aplicaciones agenticas basadas en modelos de lenguaje grande dependen cada vez más de bucles de interacción multi-etapa que implican planificación, ejecución de acciones y retroalimentación del entorno. Aunque estos sistemas ya se despliegan a gran escala, mejorarlos después del despliegue sigue siendo un desafío. Las trayectorias de los agentes son voluminosas y no deterministas, y revisar cada una, ya sea mediante revisión humana o LLMs auxiliares, es lento y prohibitivamente costoso. Proponemos un marco liviano basado en señales para la clasificación y priorización (triage) de trayectorias de interacción agenticas. Nuestro enfoque calcula señales económicas y ampliamente aplicables a partir de interacciones en vivo y las adjunta como atributos estructurados para el triaje de trayectorias, identificando interacciones potencialmente informativas sin afectar el comportamiento en línea del agente. Organizamos las señales en una taxonomía de grano grueso que abarca la interacción (desalineación, estancamiento, desvinculación, satisfacción), la ejecución (fallo, bucle) y el entorno (agotamiento), diseñada para su cálculo sin necesidad de invocar modelos. En un estudio de anotación controlado en τ-bench, un benchmark ampliamente utilizado para la evaluación de agentes aumentados con herramientas, demostramos que el muestreo basado en señales alcanza una tasa de informatividad del 82\%, en comparación con el 74\% para el filtrado heurístico y el 54\% para el muestreo aleatorio, con una ganancia de eficiencia de 1.52x por trayectoria informativa. La ventaja es robusta a través de estratos de recompensa y dominios de tareas, lo que confirma que las señales proporcionan ganancias genuinas de informatividad por trayectoria, en lugar de simplemente muestrear en exceso fallos obvios. Estos resultados muestran que las señales livianas pueden servir como infraestructura práctica de muestreo para sistemas agenticos, y sugieren un camino hacia la construcción de datos de preferencia y la optimización post-despliegue.

English

Agentic applications based on large language models increasingly rely on multi-step interaction loops involving planning, action execution, and environment feedback. While such systems are now deployed at scale, improving them post-deployment remains challenging. Agent trajectories are voluminous and non-deterministic, and reviewing each one, whether through human review or auxiliary LLMs, is slow and cost-prohibitive. We propose a lightweight, signal-based framework for triaging agentic interaction trajectories. Our approach computes cheap, broadly applicable signals from live interactions and attaches them as structured attributes for trajectory triage, identifying interactions likely to be informative without affecting online agent behavior. We organize signals into a coarse-grained taxonomy spanning interaction (misalignment, stagnation, disengagement, satisfaction), execution (failure, loop), and environment (exhaustion), designed for computation without model calls. In a controlled annotation study on τ-bench, a widely used benchmark for tool-augmented agent evaluation, we show that signal-based sampling achieves an 82\% informativeness rate compared to 74\% for heuristic filtering and 54\% for random sampling, with a 1.52x efficiency gain per informative trajectory. The advantage is robust across reward strata and task domains, confirming that signals provide genuine per-trajectory informativeness gains rather than merely oversampling obvious failures. These results show that lightweight signals can serve as practical sampling infrastructure for agentic systems, and suggest a path toward preference data construction and post-deployment optimization.