Cambrian-S: Verso la Supersensibilità Spaziale nel Video

Cambrian-S: Towards Spatial Supersensing in Video

November 6, 2025

Autori: Shusheng Yang, Jihan Yang, Pinzhi Huang, Ellis Brown, Zihao Yang, Yue Yu, Shengbang Tong, Zihan Zheng, Yifan Xu, Muhan Wang, Daohan Lu, Rob Fergus, Yann LeCun, Li Fei-Fei, Saining Xie

cs.AI

Abstract

Sosteniamo che il progresso verso una vera intelligenza multimodale richieda un allontanamento dai sistemi reattivi e orientati al compito, nonché dall'approccio basato sulla forza bruta di contesti lunghi, verso un paradigma più ampio di *supersensing* (super-percezione). Inquadriamo il *supersensing* spaziale in quattro fasi che vanno oltre la comprensione puramente linguistica: percezione semantica (denominare ciò che si vede), cognizione degli eventi in streaming (mantenere la memoria attraverso esperienze continue), cognizione spaziale 3D implicita (inferire il mondo dietro i pixel) e modellazione predittiva del mondo (creare modelli interni che filtrano e organizzano le informazioni). Gli attuali benchmark testano per lo più solo le fasi iniziali, offrendo una copertura limitata della cognizione spaziale e mettendo raramente alla prova i modelli in modi che richiedono una vera modellazione del mondo. Per favorire il progresso nel *supersensing* spaziale, presentiamo VSI-SUPER, un benchmark composto da due parti: VSR (richiamo visivo spaziale a lungo orizzonte) e VSC (conteggio visivo spaziale continuo). Questi compiti richiedono input video di lunghezza arbitraria, ma sono resistenti all'espansione del contesto tramite forza bruta. Testiamo quindi i limiti del *data scaling* curando VSI-590K e addestrando Cambrian-S, ottenendo un miglioramento assoluto del +30% su VSI-Bench senza sacrificare le capacità generali. Tuttavia, le prestazioni su VSI-SUPER rimangono limitate, indicando che la scala da sola è insufficiente per il *supersensing* spaziale. Proponiamo la *predictive sensing* (percezione predittiva) come percorso futuro, presentando una prova di concetto in cui un predittore auto-supervisionato del *next-latent-frame* sfrutta la sorpresa (errore di predizione) per guidare la memoria e la segmentazione degli eventi. Su VSI-SUPER, questo approccio supera sostanzialmente i principali baseline proprietari, dimostrando che il *supersensing* spaziale richiede modelli che non solo vedono, ma anche anticipano, selezionano e organizzano l'esperienza.

English

We argue that progress in true multimodal intelligence calls for a shift from reactive, task-driven systems and brute-force long context towards a broader paradigm of supersensing. We frame spatial supersensing as four stages beyond linguistic-only understanding: semantic perception (naming what is seen), streaming event cognition (maintaining memory across continuous experiences), implicit 3D spatial cognition (inferring the world behind pixels), and predictive world modeling (creating internal models that filter and organize information). Current benchmarks largely test only the early stages, offering narrow coverage of spatial cognition and rarely challenging models in ways that require true world modeling. To drive progress in spatial supersensing, we present VSI-SUPER, a two-part benchmark: VSR (long-horizon visual spatial recall) and VSC (continual visual spatial counting). These tasks require arbitrarily long video inputs yet are resistant to brute-force context expansion. We then test data scaling limits by curating VSI-590K and training Cambrian-S, achieving +30% absolute improvement on VSI-Bench without sacrificing general capabilities. Yet performance on VSI-SUPER remains limited, indicating that scale alone is insufficient for spatial supersensing. We propose predictive sensing as a path forward, presenting a proof-of-concept in which a self-supervised next-latent-frame predictor leverages surprise (prediction error) to drive memory and event segmentation. On VSI-SUPER, this approach substantially outperforms leading proprietary baselines, showing that spatial supersensing requires models that not only see but also anticipate, select, and organize experience.