Skalierung agentenbasierter Verstärkungslernverfahren für werkzeuggestütztes Schließen in visuell-sprachlichen Modellen
Scaling Agentic Reinforcement Learning for Tool-Integrated Reasoning in VLMs
November 24, 2025
papers.authors: Meng Lu, Ran Xu, Yi Fang, Wenxuan Zhang, Yue Yu, Gaurav Srivastava, Yuchen Zhuang, Mohamed Elhoseiny, Charles Fleming, Carl Yang, Zhengzhong Tu, Yang Xie, Guanghua Xiao, Hanrui Wang, Di Jin, Wenqi Shi, Xuan Wang
cs.AI
papers.abstract
Während aktuelle Vision-Sprach-Modelle (VLMs) ein starkes Bildverständnis demonstrieren, bleibt ihre Fähigkeit, "mit Bildern zu denken", d.h. mehrstufige visuelle Interaktionen schlussfolgernd zu durchlaufen, begrenzt. Wir stellen VISTA-Gym vor, eine skalierbare Trainingsumgebung zur Förderung von werkzeugintegrierten visuellen Reasoning-Fähigkeiten in VLMs. VISTA-Gym vereinheitlicht verschiedene multimodale Reasoning-Aufgaben aus der realen Welt (insgesamt 7 Aufgaben aus 13 Datensätzen) durch eine standardisierte Schnittstelle für visuelle Werkzeuge (z.B. Grounding, Parsing), ausführbare Interaktionsschleifen, verifizierbare Feedback-Signale und effiziente Protokollierung von Trajektorien, was visuelles agentenbasiertes Verstärkungslernen im großen Maßstab ermöglicht. Obwohl aktuelle VLMs starkes rein textbasiertes Reasoning zeigen, haben sowohl proprietäre als auch Open-Source-Modelle nach wie vor Schwierigkeiten mit Werkzeugauswahl, -aufruf und -koordination. Mit VISTA-Gym trainieren wir VISTA-R1, um Werkzeugnutzung mit agentischem Reasoning durch mehrstufige Trajektoriensampling und end-to-end Verstärkungslernen zu verzahnen. Umfangreiche Experimente über 11 öffentliche reasoning-intensive VQA-Benchmarks zeigen, dass VISTA-R1-8B State-of-the-Art-Baselines ähnlicher Größe um 9,51 % bis 18,72 % übertrifft. Dies demonstriert, dass VISTA-Gym ein effektives Trainingsfeld ist, um die werkzeugintegrierten Reasoning-Fähigkeiten von VLMs freizusetzen.
English
While recent vision-language models (VLMs) demonstrate strong image understanding, their ability to "think with images", i.e., to reason through multi-step visual interactions, remains limited. We introduce VISTA-Gym, a scalable training environment for incentivizing tool-integrated visual reasoning capabilities in VLMs. VISTA-Gym unifies diverse real-world multimodal reasoning tasks (7 tasks from 13 datasets in total) with a standardized interface for visual tools (e.g., grounding, parsing), executable interaction loops, verifiable feedback signals, and efficient trajectory logging, enabling visual agentic reinforcement learning at scale. While recent VLMs exhibit strong text-only reasoning, both proprietary and open-source models still struggle with tool selection, invocation, and coordination. With VISTA-Gym, we train VISTA-R1 to interleave tool-use with agentic reasoning via multi-turn trajectory sampling and end-to-end reinforcement learning. Extensive experiments across 11 public reasoning-intensive VQA benchmarks show that VISTA-R1-8B outperforms state-of-the-art baselines with similar sizes by 9.51%-18.72%, demonstrating VISTA-Gym as an effective training ground to unlock the tool-integrated reasoning capabilities for VLMs.