Esplorare l'intelligenza spaziale da una prospettiva generativa
Exploring Spatial Intelligence from a Generative Perspective
April 22, 2026
Autori: Muzhi Zhu, Shunyao Jiang, Huanyi Zheng, Zekai Luo, Hao Zhong, Anzhou Li, Kaijun Wang, Jintao Rong, Yang Liu, Hao Chen, Tao Lin, Chunhua Shen
cs.AI
Abstract
L'intelligenza spaziale è fondamentale per i modelli linguistici multimodali di grandi dimensioni, ma gli attuali benchmark la valutano prevalentemente da una prospettiva di comprensione. Ci chiediamo se i moderni modelli generativi o multimodali unificati possiedano anche un'intelligenza spaziale generativa (GSI), cioè la capacità di rispettare e manipolare i vincoli spaziali 3D durante la generazione di immagini, e se tale capacità possa essere misurata o migliorata. Introduciamo GSI-Bench, il primo benchmark progettato per quantificare la GSI attraverso l'editing di immagini ancorato spazialmente. Esso consiste in due componenti complementari: GSI-Real, un dataset di alta qualità del mondo reale costruito tramite una pipeline di generazione e filtraggio guidata da prior 3D, e GSI-Syn, un benchmark sintetico su larga scala con operazioni spaziali controllabili ed etichettatura completamente automatizzata. Insieme a un protocollo di valutazione unificato, GSI-Bench consente una valutazione scalabile e indipendente dal modello della conformità spaziale e della fedeltà di editing. Gli esperimenti dimostrano che il fine-tuning di modelli multimodali unificati su GSI-Syn produce miglioramenti sostanziali sia sui compiti sintetici che reali e, sorprendentemente, migliora anche la comprensione spaziale a valle. Questo fornisce la prima chiara evidenza che l'addestramento generativo può rafforzare tangibilmente il ragionamento spaziale, stabilendo una nuova via per far progredire l'intelligenza spaziale nei modelli multimodali.
English
Spatial intelligence is essential for multimodal large language models, yet current benchmarks largely assess it only from an understanding perspective. We ask whether modern generative or unified multimodal models also possess generative spatial intelligence (GSI), the ability to respect and manipulate 3D spatial constraints during image generation, and whether such capability can be measured or improved. We introduce GSI-Bench, the first benchmark designed to quantify GSI through spatially grounded image editing. It consists of two complementary components: GSI-Real, a high-quality real-world dataset built via a 3D-prior-guided generation and filtering pipeline, and GSI-Syn, a large-scale synthetic benchmark with controllable spatial operations and fully automated labeling. Together with a unified evaluation protocol, GSI-Bench enables scalable, model-agnostic assessment of spatial compliance and editing fidelity. Experiments show that fine-tuning unified multimodal models on GSI-Syn yields substantial gains on both synthetic and real tasks and, strikingly, also improves downstream spatial understanding. This provides the first clear evidence that generative training can tangibly strengthen spatial reasoning, establishing a new pathway for advancing spatial intelligence in multimodal models.