Cambrian-S: Rumo à Supersensoriamento Espacial em Vídeo

Cambrian-S: Towards Spatial Supersensing in Video

November 6, 2025

Autores: Shusheng Yang, Jihan Yang, Pinzhi Huang, Ellis Brown, Zihao Yang, Yue Yu, Shengbang Tong, Zihan Zheng, Yifan Xu, Muhan Wang, Daohan Lu, Rob Fergus, Yann LeCun, Li Fei-Fei, Saining Xie

cs.AI

Resumo

Argumentamos que o progresso em inteligência multimodal genuína exige uma mudança de sistemas reativos e orientados por tarefas, bem como do uso de contexto longo por força bruta, para um paradigma mais amplo de supersensoriamento. Enquadramos o supersensoriamento espacial em quatro estágios além da compreensão puramente linguística: percepção semântica (nomear o que é visto), cognição de eventos em fluxo contínuo (manter a memória através de experiências contínuas), cognição espacial 3D implícita (inferir o mundo por trás dos pixels) e modelagem preditiva do mundo (criar modelos internos que filtram e organizam informações). Os benchmarks atuais testam principalmente os estágios iniciais, oferecendo uma cobertura limitada da cognição espacial e raramente desafiando os modelos de maneira que exija uma verdadeira modelagem do mundo. Para impulsionar o progresso no supersensoriamento espacial, apresentamos o VSI-SUPER, um benchmark composto por duas partes: VSR (recordação visual espacial de longo horizonte) e VSC (contagem visual espacial contínua). Essas tarefas exigem entradas de vídeo arbitrariamente longas, mas são resistentes à expansão de contexto por força bruta. Em seguida, testamos os limites de escalonamento de dados ao criar o VSI-590K e treinar o Cambrian-S, alcançando uma melhoria absoluta de +30% no VSI-Bench sem sacrificar capacidades gerais. No entanto, o desempenho no VSI-SUPER permanece limitado, indicando que a escala por si só é insuficiente para o supersensoriamento espacial. Propomos a sensoriamento preditivo como um caminho a seguir, apresentando uma prova de conceito na qual um preditor auto supervisionado do próximo quadro latente aproveita o surpresa (erro de predição) para orientar a memória e a segmentação de eventos. No VSI-SUPER, essa abordagem supera substancialmente as linhas de base proprietárias líderes, mostrando que o supersensoriamento espacial requer modelos que não apenas veem, mas também antecipam, selecionam e organizam a experiência.

English

We argue that progress in true multimodal intelligence calls for a shift from reactive, task-driven systems and brute-force long context towards a broader paradigm of supersensing. We frame spatial supersensing as four stages beyond linguistic-only understanding: semantic perception (naming what is seen), streaming event cognition (maintaining memory across continuous experiences), implicit 3D spatial cognition (inferring the world behind pixels), and predictive world modeling (creating internal models that filter and organize information). Current benchmarks largely test only the early stages, offering narrow coverage of spatial cognition and rarely challenging models in ways that require true world modeling. To drive progress in spatial supersensing, we present VSI-SUPER, a two-part benchmark: VSR (long-horizon visual spatial recall) and VSC (continual visual spatial counting). These tasks require arbitrarily long video inputs yet are resistant to brute-force context expansion. We then test data scaling limits by curating VSI-590K and training Cambrian-S, achieving +30% absolute improvement on VSI-Bench without sacrificing general capabilities. Yet performance on VSI-SUPER remains limited, indicating that scale alone is insufficient for spatial supersensing. We propose predictive sensing as a path forward, presenting a proof-of-concept in which a self-supervised next-latent-frame predictor leverages surprise (prediction error) to drive memory and event segmentation. On VSI-SUPER, this approach substantially outperforms leading proprietary baselines, showing that spatial supersensing requires models that not only see but also anticipate, select, and organize experience.