Denken mit Imagination: Agentisches visuell-räumliches Denken mit Weltsimulatoren

Zusammenfassung

Obwohl Vision-Language-Modelle (VLMs) starke visuelle Denkfähigkeiten gezeigt haben, bleiben ihre räumlichen Denkfähigkeiten weitgehend auf die beobachteten Bilder und die textorientierte Gedankenkette beschränkt. Sie haben oft Schwierigkeiten, unbeobachtete Anordnungen zu inferieren, die Konsistenz zwischen Ansichten zu wahren und aus alternativen Blickwinkeln zu schließen, wenn nur begrenzte egozentrische Beobachtungen verfügbar sind. In dieser Arbeit untersuchen wir dieses Problem als Denken mit Imagination, bei dem ein VLM aktiv imaginierte visuelle Evidenz durch Interaktion mit einem Weltsimulator während des Denkens erwirbt. Wir schlagen Astra vor, ein agentisches räumliches Denkrahmenwerk, das VLMs mit handlungsbedingter visueller Imagination ausstattet. Insbesondere koppelt Astra Astra-VL, eine RL-trainierte VLM-Policy, mit Astra-WM, einem auf Bagel basierenden Weltsimulator, der neuartige Ansichtsbeobachtungen aus Kontextbildern und in natürlicher Sprache beschriebenen Kamerabewegungen erzeugt. Um zuverlässige imaginierte Evidenz zu liefern, wird Astra-WM mit Ansichtskonsistenz-Abstimmung trainiert, um die Pose- und Inhaltskonsistenz über Ansichten hinweg zu verbessern. In der RL-Phase schlagen wir einen zweiphasigen RL-Lehrplan mit Weltsimulator-in-der-Schleife vor, um die Werkzeugnutzungserkundung zu stabilisieren und die Fähigkeit des Modells zu verbessern, den Simulator nur dann aufzurufen, wenn imaginierte Beobachtungen eine Verbesserung gegenüber direkter Beantwortung darstellen. Experimente zeigen, dass sowohl der Weltsimulator als auch die agentische Policy notwendig sind: Astra-WM verbessert simulatorgestütztes Gemini-3-Flash auf MMSI-Bench von 45,1 auf 49,5, während Astra-VL das Qwen3-VL-Backbone auf MMSI-Bench von 29,8 auf 38,8 und auf MindCube von 36,8 auf 42,7 verbessert. Diese Ergebnisse zeigen, dass imaginierte Beobachtungen nützliche räumliche Evidenz liefern können, aber effektives, durch Weltmodelle erweitertes Denken erfordert, zu lernen, wann, wo und wie man sich etwas vorstellt.

English

While Vision-Language Models (VLMs) have shown strong visual reasoning capabilities, their spatial reasoning abilities remain largely constrained to the observed images and text-oriented chain-of-thought. They often struggle to infer unobserved layouts, maintain cross-view consistency, and reason from alternative viewpoints when only limited egocentric observations are available. In this work, we study this problem as thinking with imagination, where a VLM actively acquires imagined visual evidence by interacting with a world simulator during reasoning. We propose Astra, an agentic spatial reasoning framework that empowers VLMs with action-conditioned visual imagination. Specifically, Astra couples Astra-VL, an RL-trained VLM policy, with Astra-WM, a Bagel-based world simulator that generates novel-view observations from context images and natural-language camera motions. To provide reliable imagined evidence, Astra-WM is trained with view consistency tuning to improve pose and content consistency across views. In the RL stage, we propose a world-simulator-in-the-loop two-phase RL curriculum to stabilize tool-use exploration and advance the model's ability to invoke the simulator only when imagined observations improve over direct answering. Experiments demonstrate that both the world simulator and the agentic policy are necessary: Astra-WM improves simulator-augmented Gemini-3-Flash on MMSI-Bench from 45.1 to 49.5, while Astra-VL improves the Qwen3-VL backbone from 29.8 to 38.8 on MMSI-Bench and from 36.8 to 42.7 on MindCube. These results show that imagined observations can provide useful spatial evidence, but effective world-model-augmented reasoning requires learning when, where, and how to imagine.