Cambrian-S: Op weg naar ruimtelijke supersensing in video

Cambrian-S: Towards Spatial Supersensing in Video

November 6, 2025

Auteurs: Shusheng Yang, Jihan Yang, Pinzhi Huang, Ellis Brown, Zihao Yang, Yue Yu, Shengbang Tong, Zihan Zheng, Yifan Xu, Muhan Wang, Daohan Lu, Rob Fergus, Yann LeCun, Li Fei-Fei, Saining Xie

cs.AI

Samenvatting

Wij beargumenteren dat vooruitgang in ware multimodale intelligentie een verschuiving vereist van reactieve, taakgedreven systemen en brute-force lange context naar een breder paradigma van superwaarneming. Wij definiëren ruimtelijke superwaarneming als vier fasen voorbij uitsluitend talig begrip: semantische perceptie (benoemen wat wordt gezien), streaming gebeurteniscognitie (geheugen onderhouden over continue ervaringen), impliciete 3D-ruimtelijke cognitie (de wereld achter pixels afleiden) en voorspellende wereldmodellering (interne modellen creëren die informatie filteren en organiseren). Huidige benchmarks testen grotendeels alleen de vroege fasen, bieden een smalle dekking van ruimtelijke cognitie en dagen modellen zelden uit op manieren die echte wereldmodellering vereisen. Om vooruitgang in ruimtelijke superwaarneming te stimuleren, presenteren wij VSI-SUPER, een benchmark bestaande uit twee delen: VSR (langetermijn visueel ruimtelijk geheugen) en VSC (continu visueel ruimtelijk tellen). Deze taken vereisen willekeurig lange video-invoer, maar zijn bestand tegen brute-force contextuitbreiding. Vervolgens testen wij de grenzen van dataschaal door VSI-590K samen te stellen en Cambrian-S te trainen, wat een absolute verbetering van +30% op VSI-Bench oplevert zonder algemene capaciteiten op te offeren. Desalniettemin blijft de prestaties op VSI-SUPER beperkt, wat aangeeft dat schaal alleen onvoldoende is voor ruimtelijke superwaarneming. Wij stellen voorspellende waarneming voor als een weg vooruit, en presenteren een proof-of-concept waarin een zelfgesuperviseerde volgende-latente-frame-voorspeller verrassing (voorspellingsfout) benut om geheugen en gebeurtenissegmentatie aan te sturen. Op VSI-SUPER presteert deze aanpak aanzienlijk beter dan toonaangevende propriëtaire baseline-modellen, wat aantoont dat ruimtelijke superwaarneming modellen vereist die niet alleen waarnemen, maar ook ervaring anticiperen, selecteren en organiseren.

English

We argue that progress in true multimodal intelligence calls for a shift from reactive, task-driven systems and brute-force long context towards a broader paradigm of supersensing. We frame spatial supersensing as four stages beyond linguistic-only understanding: semantic perception (naming what is seen), streaming event cognition (maintaining memory across continuous experiences), implicit 3D spatial cognition (inferring the world behind pixels), and predictive world modeling (creating internal models that filter and organize information). Current benchmarks largely test only the early stages, offering narrow coverage of spatial cognition and rarely challenging models in ways that require true world modeling. To drive progress in spatial supersensing, we present VSI-SUPER, a two-part benchmark: VSR (long-horizon visual spatial recall) and VSC (continual visual spatial counting). These tasks require arbitrarily long video inputs yet are resistant to brute-force context expansion. We then test data scaling limits by curating VSI-590K and training Cambrian-S, achieving +30% absolute improvement on VSI-Bench without sacrificing general capabilities. Yet performance on VSI-SUPER remains limited, indicating that scale alone is insufficient for spatial supersensing. We propose predictive sensing as a path forward, presenting a proof-of-concept in which a self-supervised next-latent-frame predictor leverages surprise (prediction error) to drive memory and event segmentation. On VSI-SUPER, this approach substantially outperforms leading proprietary baselines, showing that spatial supersensing requires models that not only see but also anticipate, select, and organize experience.