Sinais: Amostragem de Trajetória e Triagem para Interações Agênticas

Signals: Trajectory Sampling and Triage for Agentic Interactions

April 1, 2026

Autores: Shuguang Chen, Adil Hafeez, Salman Paracha

cs.AI

Resumo

As aplicações agentes baseadas em modelos de linguagem de grande escala dependem cada vez mais de ciclos de interação multi-etapas que envolvem planejamento, execução de ações e feedback do ambiente. Embora tais sistemas já estejam implantados em escala, melhorá-los após a implantação permanece um desafio. As trajetórias dos agentes são volumosas e não determinísticas, e revisar cada uma delas, seja através de revisão humana ou de LLMs auxiliares, é lento e economicamente inviável. Propomos uma estrutura leve baseada em sinais para triagem de trajetórias de interação agentes. Nossa abordagem calcula sinais baratos e amplamente aplicáveis a partir de interações em tempo real e os anexa como atributos estruturados para triagem de trajetórias, identificando interações potencialmente informativas sem afetar o comportamento online do agente. Organizamos os sinais em uma taxonomia de granularidade grossa abrangendo interação (desalinhamento, estagnação, desengajamento, satisfação), execução (falha, loop) e ambiente (esgotamento), projetada para cálculo sem chamadas de modelo. Em um estudo de anotação controlado no τ-bench, um benchmark amplamente utilizado para avaliação de agentes com ferramentas, mostramos que a amostragem baseada em sinais alcança uma taxa de informatividade de 82\% em comparação com 74\% para filtragem heurística e 54\% para amostragem aleatória, com um ganho de eficiência de 1,52x por trajetória informativa. A vantagem é robusta entre estratos de recompensa e domínios de tarefa, confirmando que os sinais proporcionam ganhos genuínos de informatividade por trajetória, em vez de apenas superamostrar falhas óbvias. Esses resultados mostram que sinais leves podem servir como infraestrutura prática de amostragem para sistemas agentes e sugerem um caminho para a construção de dados de preferência e otimização pós-implantação.

English

Agentic applications based on large language models increasingly rely on multi-step interaction loops involving planning, action execution, and environment feedback. While such systems are now deployed at scale, improving them post-deployment remains challenging. Agent trajectories are voluminous and non-deterministic, and reviewing each one, whether through human review or auxiliary LLMs, is slow and cost-prohibitive. We propose a lightweight, signal-based framework for triaging agentic interaction trajectories. Our approach computes cheap, broadly applicable signals from live interactions and attaches them as structured attributes for trajectory triage, identifying interactions likely to be informative without affecting online agent behavior. We organize signals into a coarse-grained taxonomy spanning interaction (misalignment, stagnation, disengagement, satisfaction), execution (failure, loop), and environment (exhaustion), designed for computation without model calls. In a controlled annotation study on τ-bench, a widely used benchmark for tool-augmented agent evaluation, we show that signal-based sampling achieves an 82\% informativeness rate compared to 74\% for heuristic filtering and 54\% for random sampling, with a 1.52x efficiency gain per informative trajectory. The advantage is robust across reward strata and task domains, confirming that signals provide genuine per-trajectory informativeness gains rather than merely oversampling obvious failures. These results show that lightweight signals can serve as practical sampling infrastructure for agentic systems, and suggest a path toward preference data construction and post-deployment optimization.