Antizipierende Planung für multimodale KI-Agenten
Anticipatory Planning for Multimodal AI Agents
March 17, 2026
Autoren: Yongyuan Liang, Shijie Zhou, Yu Gu, Hao Tan, Gang Wu, Franck Dernoncourt, Jihyung Kil, Ryan A. Rossi, Ruiyi Zhang
cs.AI
Zusammenfassung
Jüngste Fortschritte bei multimodalen Agenten haben die Interaktion mit Computern und die Werkzeugnutzung verbessert, doch die meisten bestehenden Systeme bleiben reaktiv. Sie optimieren Aktionen isoliert, ohne über zukünftige Zustände oder langfristige Ziele nachzudenken. Dies schränkt die Planungskohärenz ein und verhindert, dass Agenten zuverlässig hochrangige, mehrstufige Aufgaben lösen können. Wir stellen TraceR1 vor, ein zweistufiges Reinforcement-Learning-Framework, das antizipatorisches Denken explizit trainiert, indem es kurzfristige Trajektorien vor der Ausführung prognostiziert. Die erste Stufe führt Reinforcement Learning auf Trajektorienebene mit Belohnungen durch, die globale Konsistenz über vorhergesagte Aktionssequenzen hinweg erzwingen. Die zweite Stufe wendet geerdetes Reinforcement-Fine-Tuning an und nutzt Ausführungsfeedback von eingefrorenen Werkzeugagenten, um die Genauigkeit und Ausführbarkeit auf Schrittebene zu verfeinern. TraceR1 wird auf sieben Benchmarks evaluiert, die Online-Computernutzung, Offline-Computernutzungs-Benchmarks und multimodale Werkzeugnutzungsaufgaben abdecken. Dabei erzielt es erhebliche Verbesserungen in Planungsstabilität, Ausführungsrobustheit und Generalisierung gegenüber reaktiven und einstufigen Baseline-Modellen. Diese Ergebnisse zeigen, dass antizipatorische Trajektorienplanung ein Schlüsselprinzip für den Aufbau multimodaler Agenten ist, die in komplexen realen Umgebungen effektiv denken, planen und handeln können.
English
Recent advances in multimodal agents have improved computer-use interaction and tool-usage, yet most existing systems remain reactive, optimizing actions in isolation without reasoning about future states or long-term goals. This limits planning coherence and prevents agents from reliably solving high-level, multi-step tasks. We introduce TraceR1, a two-stage reinforcement learning framework that explicitly trains anticipatory reasoning by forecasting short-horizon trajectories before execution. The first stage performs trajectory-level reinforcement learning with rewards that enforce global consistency across predicted action sequences. The second stage applies grounded reinforcement fine-tuning, using execution feedback from frozen tool agents to refine step-level accuracy and executability. TraceR1 is evaluated across seven benchmarks, covering online computer-use, offline computer-use benchmarks, and multimodal tool-use reasoning tasks, where it achieves substantial improvements in planning stability, execution robustness, and generalization over reactive and single-stage baselines. These results show that anticipatory trajectory reasoning is a key principle for building multimodal agents that can reason, plan, and act effectively in complex real-world environments.