Anticiperende planning voor multimodale AI-agenten
Anticipatory Planning for Multimodal AI Agents
March 17, 2026
Auteurs: Yongyuan Liang, Shijie Zhou, Yu Gu, Hao Tan, Gang Wu, Franck Dernoncourt, Jihyung Kil, Ryan A. Rossi, Ruiyi Zhang
cs.AI
Samenvatting
Recente vooruitgang in multimodale agenten heeft de interactie met computers en het gebruik van hulpmiddelen verbeterd, maar de meeste bestaande systemen blijven reactief: ze optimaliseren handelingen in isolatie zonder te redeneren over toekomstige toestanden of langetermijndoelen. Dit beperkt de coherentie van planning en verhindert dat agenten betrouwbaar hoogwaardige, meerstappentaken kunnen oplossen. Wij introduceren TraceR1, een reinforcement learning-raamwerk met twee fasen dat anticiperend redeneren expliciet traint door kortetermijntrajecten te voorspellen vóór uitvoering. De eerste fase voert reinforcement learning op trajectniveau uit met beloningen die globale consistentie afdwingen over voorspelde actiereeksen. De tweede fase past *grounded reinforcement fine-tuning* toe, waarbij feedback van uitgevoerde handelingen door bevroren hulpmiddelagenten wordt gebruikt om de nauwkeurigheid en uitvoerbaarheid op stapniveau te verfijnen. TraceR1 wordt geëvalueerd op zeven benchmarks, die online computergebruik, offline computergebruik en multimodale redeneertaken met hulpmiddelen beslaan, waarbij het substantiële verbeteringen laat zien in planningsstabiliteit, uitvoeringsrobuustheid en generalisatie ten opzichte van reactieve en eenfasige systemen. Deze resultaten tonen aan dat anticiperende trajectredenering een sleutelprincipe is voor het bouwen van multimodale agenten die effectief kunnen redeneren, plannen en handelen in complexe, realistische omgevingen.
English
Recent advances in multimodal agents have improved computer-use interaction and tool-usage, yet most existing systems remain reactive, optimizing actions in isolation without reasoning about future states or long-term goals. This limits planning coherence and prevents agents from reliably solving high-level, multi-step tasks. We introduce TraceR1, a two-stage reinforcement learning framework that explicitly trains anticipatory reasoning by forecasting short-horizon trajectories before execution. The first stage performs trajectory-level reinforcement learning with rewards that enforce global consistency across predicted action sequences. The second stage applies grounded reinforcement fine-tuning, using execution feedback from frozen tool agents to refine step-level accuracy and executability. TraceR1 is evaluated across seven benchmarks, covering online computer-use, offline computer-use benchmarks, and multimodal tool-use reasoning tasks, where it achieves substantial improvements in planning stability, execution robustness, and generalization over reactive and single-stage baselines. These results show that anticipatory trajectory reasoning is a key principle for building multimodal agents that can reason, plan, and act effectively in complex real-world environments.