Мышление с помощью воображения: агентное визуально-пространственное рассуждение с мировыми симуляторами

Аннотация

Хотя модели зрения и языка (VLM) демонстрируют мощные способности к визуальным рассуждениям, их возможности пространственного мышления в значительной степени ограничены наблюдаемыми изображениями и текстоориентированными цепочками рассуждений. Они часто испытывают трудности при выводе ненаблюдаемых компоновок, поддержании согласованности между видами и рассуждениях с альтернативных точек зрения, когда доступны только ограниченные эгоцентрические наблюдения. В данной работе мы изучаем эту проблему как мышление с воображением, в котором VLM активно получает воображаемые визуальные свидетельства, взаимодействуя с симулятором мира в процессе рассуждения. Мы предлагаем Astra — агентную структуру пространственного мышления, которая наделяет VLM обусловленным действиями визуальным воображением. В частности, Astra объединяет Astra-VL, политику VLM, обученную с помощью подкрепления (RL), с Astra-WM, симулятором мира на основе Bagel, который генерирует наблюдения с новых точек зрения из контекстных изображений и движений камеры на естественном языке. Чтобы обеспечить надежные воображаемые свидетельства, Astra-WM обучается с настройкой согласованности видов для улучшения согласованности позы и содержимого между различными видами. На этапе RL мы предлагаем двухфазную учебную программу RL с симулятором мира в цикле для стабилизации исследования использования инструментов и повышения способности модели вызывать симулятор только тогда, когда воображаемые наблюдения улучшают результаты по сравнению с прямым ответом. Эксперименты показывают, что необходимы как симулятор мира, так и агентная политика: Astra-WM улучшает показатели Gemini-3-Flash, дополненного симулятором, на MMSI-Bench с 45,1 до 49,5, в то время как Astra-VL улучшает базовую модель Qwen3-VL с 29,8 до 38,8 на MMSI-Bench и с 36,8 до 42,7 на MindCube. Эти результаты демонстрируют, что воображаемые наблюдения могут предоставлять полезные пространственные свидетельства, но эффективные рассуждения с дополнением моделей мира требуют изучения того, когда, где и как воображать.

English

While Vision-Language Models (VLMs) have shown strong visual reasoning capabilities, their spatial reasoning abilities remain largely constrained to the observed images and text-oriented chain-of-thought. They often struggle to infer unobserved layouts, maintain cross-view consistency, and reason from alternative viewpoints when only limited egocentric observations are available. In this work, we study this problem as thinking with imagination, where a VLM actively acquires imagined visual evidence by interacting with a world simulator during reasoning. We propose Astra, an agentic spatial reasoning framework that empowers VLMs with action-conditioned visual imagination. Specifically, Astra couples Astra-VL, an RL-trained VLM policy, with Astra-WM, a Bagel-based world simulator that generates novel-view observations from context images and natural-language camera motions. To provide reliable imagined evidence, Astra-WM is trained with view consistency tuning to improve pose and content consistency across views. In the RL stage, we propose a world-simulator-in-the-loop two-phase RL curriculum to stabilize tool-use exploration and advance the model's ability to invoke the simulator only when imagined observations improve over direct answering. Experiments demonstrate that both the world simulator and the agentic policy are necessary: Astra-WM improves simulator-augmented Gemini-3-Flash on MMSI-Bench from 45.1 to 49.5, while Astra-VL improves the Qwen3-VL backbone from 29.8 to 38.8 on MMSI-Bench and from 36.8 to 42.7 on MindCube. These results show that imagined observations can provide useful spatial evidence, but effective world-model-augmented reasoning requires learning when, where, and how to imagine.