Planificación Anticipatoria para Agentes de IA Multimodales
Anticipatory Planning for Multimodal AI Agents
March 17, 2026
Autores: Yongyuan Liang, Shijie Zhou, Yu Gu, Hao Tan, Gang Wu, Franck Dernoncourt, Jihyung Kil, Ryan A. Rossi, Ruiyi Zhang
cs.AI
Resumen
Los recientes avances en agentes multimodales han mejorado la interacción con computadoras y el uso de herramientas, pero la mayoría de los sistemas existentes siguen siendo reactivos, optimizando acciones de forma aislada sin razonar sobre estados futuros u objetivos a largo plazo. Esto limita la coherencia en la planificación e impide que los agentes resuelvan de manera confiable tareas de alto nivel y múltiples pasos. Presentamos TraceR1, un marco de aprendizaje por refuerzo de dos etapas que entrena explícitamente el razonamiento anticipatorio mediante la predicción de trayectorias a corto plazo antes de la ejecución. La primera etapa realiza aprendizaje por refuerzo a nivel de trayectoria con recompensas que garantizan la coherencia global en las secuencias de acciones predichas. La segunda etapa aplica un ajuste fino por refuerzo fundamentado, utilizando retroalimentación de ejecución de agentes de herramientas congelados para refinar la precisión y ejecutabilidad a nivel de paso. TraceR1 se evalúa en siete benchmarks, cubriendo uso de computadoras en línea, benchmarks de uso de computadoras sin conexión y tareas de razonamiento con herramientas multimodales, donde logra mejoras sustanciales en estabilidad de planificación, robustez de ejecución y generalización sobre enfoques reactivos y baselines de una sola etapa. Estos resultados demuestran que el razonamiento anticipatorio de trayectorias es un principio clave para construir agentes multimodales que puedan razonar, planificar y actuar efectivamente en entornos complejos del mundo real.
English
Recent advances in multimodal agents have improved computer-use interaction and tool-usage, yet most existing systems remain reactive, optimizing actions in isolation without reasoning about future states or long-term goals. This limits planning coherence and prevents agents from reliably solving high-level, multi-step tasks. We introduce TraceR1, a two-stage reinforcement learning framework that explicitly trains anticipatory reasoning by forecasting short-horizon trajectories before execution. The first stage performs trajectory-level reinforcement learning with rewards that enforce global consistency across predicted action sequences. The second stage applies grounded reinforcement fine-tuning, using execution feedback from frozen tool agents to refine step-level accuracy and executability. TraceR1 is evaluated across seven benchmarks, covering online computer-use, offline computer-use benchmarks, and multimodal tool-use reasoning tasks, where it achieves substantial improvements in planning stability, execution robustness, and generalization over reactive and single-stage baselines. These results show that anticipatory trajectory reasoning is a key principle for building multimodal agents that can reason, plan, and act effectively in complex real-world environments.