Cambrian-S: Auf dem Weg zum räumlichen Supersensing in Videos

Cambrian-S: Towards Spatial Supersensing in Video

November 6, 2025

papers.authors: Shusheng Yang, Jihan Yang, Pinzhi Huang, Ellis Brown, Zihao Yang, Yue Yu, Shengbang Tong, Zihan Zheng, Yifan Xu, Muhan Wang, Daohan Lu, Rob Fergus, Yann LeCun, Li Fei-Fei, Saining Xie

cs.AI

papers.abstract

Wir argumentieren, dass Fortschritte in echter multimodaler Intelligenz einen Wandel von reaktiven, aufgabengetriebenen Systemen und roher Gewalt durch lange Kontexte hin zu einem breiteren Paradigma des Supersensing erfordern. Wir definieren räumliches Supersensing als vier Stufen, die über ein rein sprachliches Verständnis hinausgehen: semantische Wahrnehmung (Benennen des Gesehenen), stream-basierte Ereigniserkennung (Aufrechterhaltung des Gedächtnisses über kontinuierliche Erfahrungen hinweg), implizite räumliche 3D-Kognition (Erschließen der Welt hinter den Pixeln) und prädiktive Weltmodellierung (Erstellen interner Modelle, die Informationen filtern und organisieren). Aktuelle Benchmarks testen größtenteils nur die frühen Stufen, bieten eine begrenzte Abdeckung der räumlichen Kognition und fordern Modelle selten so heraus, dass echte Weltmodellierung erforderlich wäre. Um den Fortschritt im räumlichen Supersensing voranzutreiben, präsentieren wir VSI-SUPER, einen Benchmark in zwei Teilen: VSR (langfristiges visuell-räumliches Erinnern) und VSC (kontinuierliches visuell-räumliches Zählen). Diese Aufgaben erfordern beliebig lange Videoeingaben, sind jedoch resistent gegen rohe Kontexterweiterung. Anschließend testen wir die Grenzen der Datenskalierung, indem wir VSI-590K kuratieren und Cambrian-S trainieren, was eine absolute Verbesserung von +30 % auf VSI-Bench ohne Einbußen bei allgemeinen Fähigkeiten erreicht. Dennoch bleibt die Leistung bei VSI-SUPER begrenzt, was darauf hindeutet, dass Skalierung allein für räumliches Supersensing nicht ausreicht. Wir schlagen prädiktives Sensing als Weg nach vorn vor und präsentieren einen Machbarkeitsnachweis, bei dem ein selbstüberwachter Prädiktor für den nächsten latenten Frame Überraschung (Vorhersagefehler) nutzt, um Gedächtnis und Ereignissegmentierung anzutreiben. Bei VSI-SUPER übertrifft dieser Ansatz führende proprietäre Baseline-Modelle erheblich und zeigt, dass räumliches Supersensing Modelle erfordert, die nicht nur sehen, sondern Erfahrungen auch antizipieren, auswählen und organisieren.

English

We argue that progress in true multimodal intelligence calls for a shift from reactive, task-driven systems and brute-force long context towards a broader paradigm of supersensing. We frame spatial supersensing as four stages beyond linguistic-only understanding: semantic perception (naming what is seen), streaming event cognition (maintaining memory across continuous experiences), implicit 3D spatial cognition (inferring the world behind pixels), and predictive world modeling (creating internal models that filter and organize information). Current benchmarks largely test only the early stages, offering narrow coverage of spatial cognition and rarely challenging models in ways that require true world modeling. To drive progress in spatial supersensing, we present VSI-SUPER, a two-part benchmark: VSR (long-horizon visual spatial recall) and VSC (continual visual spatial counting). These tasks require arbitrarily long video inputs yet are resistant to brute-force context expansion. We then test data scaling limits by curating VSI-590K and training Cambrian-S, achieving +30% absolute improvement on VSI-Bench without sacrificing general capabilities. Yet performance on VSI-SUPER remains limited, indicating that scale alone is insufficient for spatial supersensing. We propose predictive sensing as a path forward, presenting a proof-of-concept in which a self-supervised next-latent-frame predictor leverages surprise (prediction error) to drive memory and event segmentation. On VSI-SUPER, this approach substantially outperforms leading proprietary baselines, showing that spatial supersensing requires models that not only see but also anticipate, select, and organize experience.