De trazas ruidosas a causas raíz: Análisis estructural de trayectorias y extracción causal para la optimización de agentes

Resumen

La optimización de agentes de horizonte largo depende cada vez más de mecanismos basados en reflexión, en los que un modelo de lenguaje grande (LLM) actúa como optimizador para diagnosticar fallos de los agentes y mejorar sus políticas. Sin embargo, las trazas de ejecución reales son difíciles de usar directamente para la optimización: grandes colecciones de trazas suelen ser redundantes y heterogéneas, lo que hace que la optimización sea ineficiente y propensa al sobreajuste en fallos de bajo valor; además, cada trayectoria individual contiene muchos pasos irrelevantes, mientras que métodos ingenuos de reducción de contexto, como el truncamiento o las ventanas deslizantes, pueden descartar evidencia causalmente importante y generar señales de optimización engañosas. Para resolver este dilema, presentamos STRACE (Structural TRajectory Analysis and Causal Extraction), un marco que construye contextos de optimización con alta relación señal-ruido para una optimización más precisa y efectiva. A nivel de lote, STRACE extrae patrones de fallo para filtrar trazas redundantes y conservar fallos representativos; dentro de cada traza seleccionada, realiza una localización causal sobre un grafo de dependencia textual para eliminar pasos no causales e identificar el verdadero módulo de causa raíz para la optimización. Los resultados empíricos demuestran que STRACE supera significativamente a las líneas base estándar de filtrado de contexto. En particular, en una tarea desafiante de verificación formal (VeruSAGE-Bench), optimiza con éxito agentes diseñados por expertos humanos, logrando una mejora de 1.4 veces en la tasa de éxito (de 42.5% a 58.5%). El código está disponible en https://github.com/moomight/STRACE.

English

The optimization of long-horizon agents increasingly relies on reflection-based mechanisms, where a large language model (LLM) acts as an optimizer to diagnose agent failures and improve agent policies. However, real execution traces are difficult to use directly for optimization: large trace collections are often redundant and heterogeneous, making optimization inefficient and prone to overfitting to low-value failures; meanwhile, each individual trajectory also contains many irrelevant steps, while naive context reduction methods such as truncation or sliding windows can discard causally important evidence and produce misleading optimization signals. To resolve this dilemma, we introduce STRACE (Structural TRajectory Analysis and Causal Extraction), a framework that constructs high signal-noise optimization contexts for more precise and effective optimization. At the batch level, STRACE mines failure patterns to filter redundant traces and retain representative failures; within each selected trace, it performs causal localization over a textual dependency graph to remove non-causal steps and identify the true root-cause module for optimization. Empirical results demonstrate that STRACE significantly outperforms standard context-filtering baselines. Notably, on a challenging formal verification task (VeruSAGE-Bench), it successfully optimizes human-expert designed agents, delivering 1.4times success-rate improvement (42.5% to 58.5%). The code is available at https://github.com/moomight/STRACE .