Planification Anticipative pour les Agents d'IA Multimodaux
Anticipatory Planning for Multimodal AI Agents
March 17, 2026
Auteurs: Yongyuan Liang, Shijie Zhou, Yu Gu, Hao Tan, Gang Wu, Franck Dernoncourt, Jihyung Kil, Ryan A. Rossi, Ruiyi Zhang
cs.AI
Résumé
Les récents progrès des agents multimodaux ont amélioré l'interaction avec les ordinateurs et l'utilisation d'outils, mais la plupart des systèmes existants restent réactifs, optimisant les actions de manière isolée sans raisonner sur les états futurs ou les objectifs à long terme. Cela limite la cohérence de la planification et empêche les agents de résoudre de manière fiable des tâches complexes à plusieurs étapes. Nous présentons TraceR1, un cadre d'apprentissage par renforcement à deux étapes qui entraîne explicitement le raisonnement anticipatoire en prévoyant des trajectoires à court horizon avant l'exécution. La première étape effectue un apprentissage par renforcement au niveau trajectoire avec des récompenses qui imposent une cohérence globale entre les séquences d'actions prédites. La deuxième étape applique un affinage par renforcement ancré, utilisant les retours d'exécution d'agents-outils figés pour améliorer la précision et l'exécutabilité au niveau de chaque étape. TraceR1 est évalué sur sept benchmarks, couvrant l'utilisation en ligne et hors ligne d'ordinateurs ainsi que des tâches de raisonnement avec outils multimodaux, où il obtient des améliorations substantielles en stabilité de planification, robustesse d'exécution et généralisation par rapport aux approches réactives et à une seule étape. Ces résultats montrent que le raisonnement anticipatoire par trajectoire est un principe clé pour construire des agents multimodaux capables de raisonner, planifier et agir efficacement dans des environnements réels complexes.
English
Recent advances in multimodal agents have improved computer-use interaction and tool-usage, yet most existing systems remain reactive, optimizing actions in isolation without reasoning about future states or long-term goals. This limits planning coherence and prevents agents from reliably solving high-level, multi-step tasks. We introduce TraceR1, a two-stage reinforcement learning framework that explicitly trains anticipatory reasoning by forecasting short-horizon trajectories before execution. The first stage performs trajectory-level reinforcement learning with rewards that enforce global consistency across predicted action sequences. The second stage applies grounded reinforcement fine-tuning, using execution feedback from frozen tool agents to refine step-level accuracy and executability. TraceR1 is evaluated across seven benchmarks, covering online computer-use, offline computer-use benchmarks, and multimodal tool-use reasoning tasks, where it achieves substantial improvements in planning stability, execution robustness, and generalization over reactive and single-stage baselines. These results show that anticipatory trajectory reasoning is a key principle for building multimodal agents that can reason, plan, and act effectively in complex real-world environments.