Cambrian-S : Vers la supersensation spatiale dans la vidéo

Cambrian-S: Towards Spatial Supersensing in Video

November 6, 2025

papers.authors: Shusheng Yang, Jihan Yang, Pinzhi Huang, Ellis Brown, Zihao Yang, Yue Yu, Shengbang Tong, Zihan Zheng, Yifan Xu, Muhan Wang, Daohan Lu, Rob Fergus, Yann LeCun, Li Fei-Fei, Saining Xie

cs.AI

papers.abstract

Nous soutenons que les progrès en matière d'intelligence multimodale véritable nécessitent une transition des systèmes réactifs axés sur des tâches spécifiques et de l'utilisation de contextes longs par force brute vers un paradigme plus large : la supersensation. Nous définissons la supersensation spatiale selon quatre étapes dépassant la compréhension purement linguistique : la perception sémantique (nommer ce qui est vu), la cognition événementielle en flux continu (maintien de la mémoire à travers des expériences continues), la cognition spatiale 3D implicite (inférer le monde derrière les pixels) et la modélisation prédictive du monde (création de modèles internes qui filtrent et organisent l'information). Les benchmarks actuels testent largement seulement les premières étapes, offrant une couverture étroite de la cognition spatiale et défiant rarement les modèles de manière à exiger une véritable modélisation du monde. Pour faire progresser la supersensation spatiale, nous présentons VSI-SUPER, un benchmark en deux parties : VSR (rappel spatial visuel à long terme) et VSC (comptage spatial visuel continu). Ces tâches nécessitent des entrées vidéo de durée arbitrairement longue mais résistent à l'expansion de contexte par force brute. Nous testons ensuite les limites de la mise à l'échelle des données en constituant VSI-590K et en entraînant Cambrian-S, obtenant une amélioration absolue de +30 % sur VSI-Bench sans sacrifier les capacités générales. Pourtant, les performances sur VSI-SUPER restent limitées, indiquant que la mise à l'échelle seule est insuffisante pour la supersensation spatiale. Nous proposons la sensation prédictive comme voie à suivre, en présentant une preuve de concept dans laquelle un prédicteur auto-supervisé de l'image latente suivante exploite la surprise (l'erreur de prédiction) pour piloter la mémoire et la segmentation d'événements. Sur VSI-SUPER, cette approche surpasse substantiellement les principaux modèles de référence propriétaires, montrant que la supersensation spatiale exige des modèles qui non seulement voient, mais anticipent, sélectionnent et organisent également l'expérience.

English

We argue that progress in true multimodal intelligence calls for a shift from reactive, task-driven systems and brute-force long context towards a broader paradigm of supersensing. We frame spatial supersensing as four stages beyond linguistic-only understanding: semantic perception (naming what is seen), streaming event cognition (maintaining memory across continuous experiences), implicit 3D spatial cognition (inferring the world behind pixels), and predictive world modeling (creating internal models that filter and organize information). Current benchmarks largely test only the early stages, offering narrow coverage of spatial cognition and rarely challenging models in ways that require true world modeling. To drive progress in spatial supersensing, we present VSI-SUPER, a two-part benchmark: VSR (long-horizon visual spatial recall) and VSC (continual visual spatial counting). These tasks require arbitrarily long video inputs yet are resistant to brute-force context expansion. We then test data scaling limits by curating VSI-590K and training Cambrian-S, achieving +30% absolute improvement on VSI-Bench without sacrificing general capabilities. Yet performance on VSI-SUPER remains limited, indicating that scale alone is insufficient for spatial supersensing. We propose predictive sensing as a path forward, presenting a proof-of-concept in which a self-supervised next-latent-frame predictor leverages surprise (prediction error) to drive memory and event segmentation. On VSI-SUPER, this approach substantially outperforms leading proprietary baselines, showing that spatial supersensing requires models that not only see but also anticipate, select, and organize experience.