Сигналы: выборка траекторий и сортировка для агентных взаимодействий

Signals: Trajectory Sampling and Triage for Agentic Interactions

April 1, 2026

Авторы: Shuguang Chen, Adil Hafeez, Salman Paracha

cs.AI

Аннотация

Агентные приложения на основе больших языковых моделей все чаще используют многошаговые циклы взаимодействия, включающие планирование, выполнение действий и обратную связь от среды. Хотя такие системы уже развернуты в больших масштабах, их улучшение после внедрения остается сложной задачей. Траектории агентов объемны и недетерминированы, а проверка каждой из них, будь то ручной анализ или с помощью вспомогательных LLM, является медленной и экономически нецелесообразной. Мы предлагаем облегченный фреймворк на основе сигналов для триажирования траекторий агентного взаимодействия. Наш подход вычисляет дешевые, широко применимые сигналы из живых взаимодействий и присоединяет их как структурированные атрибуты для триажирования траекторий, выявляя взаимодействия, которые с высокой вероятностью являются информативными, без влияния на онлайн-поведение агента. Мы систематизируем сигналы в грубую таксономию, охватывающую взаимодействие (рассогласование, стагнация, отключение, удовлетворенность), выполнение (сбой, цикл) и среду (истощение), разработанную для вычислений без вызовов моделей. В контролируемом исследовании по аннотированию на τ-bench, широко используемом бенчмарке для оценки инструментально-расширенных агентов, мы показываем, что выборка на основе сигналов достигает уровня информативности 82% по сравнению с 74% для эвристической фильтрации и 54% для случайной выборки, с увеличением эффективности на 1.52x для каждой информативной траектории. Преимущество является устойчивым across стратами вознаграждения и предметными областями, подтверждая, что сигналы обеспечивают реальный прирост информативности на траекторию, а не просто передискретизацию очевидных сбоев. Эти результаты показывают, что облегченные сигналы могут служить практической инфраструктурой выборки для агентных систем и указывают путь к построению данных предпочтений и пост-развертывающей оптимизации.

English

Agentic applications based on large language models increasingly rely on multi-step interaction loops involving planning, action execution, and environment feedback. While such systems are now deployed at scale, improving them post-deployment remains challenging. Agent trajectories are voluminous and non-deterministic, and reviewing each one, whether through human review or auxiliary LLMs, is slow and cost-prohibitive. We propose a lightweight, signal-based framework for triaging agentic interaction trajectories. Our approach computes cheap, broadly applicable signals from live interactions and attaches them as structured attributes for trajectory triage, identifying interactions likely to be informative without affecting online agent behavior. We organize signals into a coarse-grained taxonomy spanning interaction (misalignment, stagnation, disengagement, satisfaction), execution (failure, loop), and environment (exhaustion), designed for computation without model calls. In a controlled annotation study on τ-bench, a widely used benchmark for tool-augmented agent evaluation, we show that signal-based sampling achieves an 82\% informativeness rate compared to 74\% for heuristic filtering and 54\% for random sampling, with a 1.52x efficiency gain per informative trajectory. The advantage is robust across reward strata and task domains, confirming that signals provide genuine per-trajectory informativeness gains rather than merely oversampling obvious failures. These results show that lightweight signals can serve as practical sampling infrastructure for agentic systems, and suggest a path toward preference data construction and post-deployment optimization.