Penser avec l'imagination : Raisonnement visuo-spatial agentique à l'aide de simulateurs de monde

Résumé

Bien que les modèles de vision-langage (VLM) aient démontré de solides capacités de raisonnement visuel, leurs compétences en raisonnement spatial restent largement limitées aux images observées et à la chaîne de pensée orientée texte. Ils peinent souvent à inférer des agencements non observés, à maintenir une cohérence inter-vues et à raisonner à partir de points de vue alternatifs lorsque seules des observations égocentriques limitées sont disponibles. Dans ce travail, nous étudions ce problème sous l'angle de la réflexion avec imagination, où un VLM acquiert activement des preuves visuelles imaginaires en interagissant avec un simulateur de monde au cours du raisonnement. Nous proposons Astra, un cadre de raisonnement spatial agentique qui confère aux VLM une imagination visuelle conditionnée par l'action. Plus précisément, Astra couple Astra-VL, une politique de VLM entraînée par RL, avec Astra-WM, un simulateur de monde basé sur Bagel qui génère des observations sous de nouvelles vues à partir d'images contextuelles et de mouvements de caméra exprimés en langage naturel. Pour fournir des preuves imaginaires fiables, Astra-WM est entraîné avec un ajustement de cohérence de vue afin d'améliorer la cohérence de pose et de contenu entre les vues. Dans la phase de RL, nous proposons un curriculum d'apprentissage par renforcement en deux phases avec le simulateur de monde en boucle, pour stabiliser l'exploration de l'utilisation d'outils et améliorer la capacité du modèle à invoquer le simulateur uniquement lorsque les observations imaginaires apportent une amélioration par rapport à une réponse directe. Les expériences démontrent que le simulateur de monde et la politique agentique sont tous deux nécessaires : Astra-WM améliore les performances de Gemini-3-Flash augmenté par simulateur sur MMSI-Bench de 45,1 à 49,5, tandis qu'Astra-VL améliore le modèle de base Qwen3-VL de 29,8 à 38,8 sur MMSI-Bench et de 36,8 à 42,7 sur MindCube. Ces résultats montrent que les observations imaginaires peuvent fournir des preuves spatiales utiles, mais qu'un raisonnement efficace assisté par un modèle du monde nécessite d'apprendre quand, où et comment imaginer.

English

While Vision-Language Models (VLMs) have shown strong visual reasoning capabilities, their spatial reasoning abilities remain largely constrained to the observed images and text-oriented chain-of-thought. They often struggle to infer unobserved layouts, maintain cross-view consistency, and reason from alternative viewpoints when only limited egocentric observations are available. In this work, we study this problem as thinking with imagination, where a VLM actively acquires imagined visual evidence by interacting with a world simulator during reasoning. We propose Astra, an agentic spatial reasoning framework that empowers VLMs with action-conditioned visual imagination. Specifically, Astra couples Astra-VL, an RL-trained VLM policy, with Astra-WM, a Bagel-based world simulator that generates novel-view observations from context images and natural-language camera motions. To provide reliable imagined evidence, Astra-WM is trained with view consistency tuning to improve pose and content consistency across views. In the RL stage, we propose a world-simulator-in-the-loop two-phase RL curriculum to stabilize tool-use exploration and advance the model's ability to invoke the simulator only when imagined observations improve over direct answering. Experiments demonstrate that both the world simulator and the agentic policy are necessary: Astra-WM improves simulator-augmented Gemini-3-Flash on MMSI-Bench from 45.1 to 49.5, while Astra-VL improves the Qwen3-VL backbone from 29.8 to 38.8 on MMSI-Bench and from 36.8 to 42.7 on MindCube. These results show that imagined observations can provide useful spatial evidence, but effective world-model-augmented reasoning requires learning when, where, and how to imagine.