シグナル：エージェント間相互作用のための軌道サンプリングとトリアージ

要旨

大規模言語モデルに基づくエージェント型アプリケーションは、計画、行動実行、環境フィードバックを含む多段階のインタラクションループに依存することが増えている。このようなシステムはすでに大規模に展開されているが、デプロイ後の改善は依然として困難である。エージェントの軌跡は膨大で非決定的であり、人間によるレビューや補助LLMによるものを含め、個々の軌跡を検討することは時間がかかりコストがかさむ。本稿では、エージェントのインタラクション軌跡をトリアージするための軽量なシグナルベースのフレームワークを提案する。我々のアプローチは、ライブインタラクションから安価で広く適用可能なシグナルを計算し、それらを構造化属性として軌跡トリアージに付加することで、オンラインのエージェント動作に影響を与えることなく、有益な情報を含みそうなインタラクションを特定する。シグナルを、インタラクション（不一致、停滞、離脱、満足度）、実行（失敗、ループ）、環境（枯渇）にまたがる粗い分類体系に整理し、モデル呼び出しなしでの計算を想定する。ツール拡張エージェント評価の広く使われているベンチマークであるτ-benchを用いた制御された注釈研究において、シグナルベースのサンプリングは、ヒューリスティックフィルタリングの74%、ランダムサンプリングの54%と比較して、82%の情報含有率を達成し、有益な軌跡あたりの効率が1.52倍向上することを示す。この利点は報酬層やタスク領域を超えて頑健であり、シグナルが明らかな失敗を過剰にサンプリングするだけでなく、軌跡ごとの真の情報含有率の向上をもたらすことを確認する。これらの結果は、軽量なシグナルがエージェントシステムの実用的なサンプリング基盤として機能しうることを示し、選好データ構築とデプロイ後最適化への道筋を示唆するものである。

English

Agentic applications based on large language models increasingly rely on multi-step interaction loops involving planning, action execution, and environment feedback. While such systems are now deployed at scale, improving them post-deployment remains challenging. Agent trajectories are voluminous and non-deterministic, and reviewing each one, whether through human review or auxiliary LLMs, is slow and cost-prohibitive. We propose a lightweight, signal-based framework for triaging agentic interaction trajectories. Our approach computes cheap, broadly applicable signals from live interactions and attaches them as structured attributes for trajectory triage, identifying interactions likely to be informative without affecting online agent behavior. We organize signals into a coarse-grained taxonomy spanning interaction (misalignment, stagnation, disengagement, satisfaction), execution (failure, loop), and environment (exhaustion), designed for computation without model calls. In a controlled annotation study on τ-bench, a widely used benchmark for tool-augmented agent evaluation, we show that signal-based sampling achieves an 82\% informativeness rate compared to 74\% for heuristic filtering and 54\% for random sampling, with a 1.52x efficiency gain per informative trajectory. The advantage is robust across reward strata and task domains, confirming that signals provide genuine per-trajectory informativeness gains rather than merely oversampling obvious failures. These results show that lightweight signals can serve as practical sampling infrastructure for agentic systems, and suggest a path toward preference data construction and post-deployment optimization.

シグナル：エージェント間相互作用のための軌道サンプリングとトリアージ

Signals: Trajectory Sampling and Triage for Agentic Interactions

要旨

Support