Auto-Arnés Adaptativo: Auto-Mejora Sostenida para el Despliegue de Sistemas Agentes en Flujos de Tareas Abiertos

Resumen

Los sistemas de auto-arnés como A-Evolve, GEPA y Meta-Harness mejoran los agentes LLM optimizando indicaciones, habilidades, herramientas, memorias e infraestructura de soporte a partir de la retroalimentación de ejecución, pero normalmente se evalúan en puntos de referencia fijos fuera de línea. En cambio, los despliegues reales presentan flujos de tareas abiertos: los historiales crecen sin un punto final fijo, las tareas heterogéneas requieren diferentes arneses y las distribuciones de problemas cambian con el tiempo. Estos desafíos hacen que un único arnés actualizado repetida y densamente sea frágil, provocando una degradación del rendimiento a medida que la precisión alcanza un pico temprano y luego disminuye. Esto motiva la construcción sostenida de arneses con adaptación específica a cada tarea. Introducimos Adaptive Auto-Harness, un marco y sistema para dichos flujos. El marco descompone la brecha respecto a un arnés oráculo en pérdida de evolución y pérdida de adaptación. El sistema aborda estas pérdidas con un evolucionador multiagente con estado, un árbol de arneses con enrutamiento en tiempo de resolución y ganchos de dirección humana para casos donde el historial carece de la señal necesaria. A través de flujos de mercado de predicciones, competencias de seguridad y previsión de eventos, Adaptive Auto-Harness supera a cinco líneas base de auto-arnés existentes, y las ablaciones atribuyen las ganancias a una mejor construcción, enrutamiento o dirección humana específica. El código está disponible en https://github.com/A-EVO-Lab/AdaptiveHarness .

English

Auto-harness systems such as A-Evolve, GEPA, and Meta-Harness improve LLM agents by optimizing prompts, skills, tools, memories, and supporting infrastructure from execution feedback, but they are typically evaluated on fixed offline benchmarks. Real deployments instead present open-ended task streams: histories grow without a fixed endpoint, heterogeneous tasks require different harnesses, and problem distributions shift over time. These challenges make a single repeatedly and densely updated harness brittle, causing performance degradation as accuracy peaks early and then declines. This motivates sustained harness construction with task-wise adaptation. We introduce Adaptive Auto-Harness, a framework and system for such streams. The framework decomposes the gap to an oracle harness into evolution loss and adaptation loss. The system addresses these losses with a stateful multi-agent evolver, a harness tree with solve-time routing, and human-steering hooks for cases where history lacks the needed signal. Across prediction-market, security-competition, and event-forecasting streams, Adaptive Auto-Harness outperforms five existing auto-harness baselines and ablations attribute gains to better construction, routing, or targeted human steering. Code is available in https://github.com/A-EVO-Lab/AdaptiveHarness .