Кембрий-S: на пути к пространственному суперзрению в видео

Cambrian-S: Towards Spatial Supersensing in Video

November 6, 2025

Авторы: Shusheng Yang, Jihan Yang, Pinzhi Huang, Ellis Brown, Zihao Yang, Yue Yu, Shengbang Tong, Zihan Zheng, Yifan Xu, Muhan Wang, Daohan Lu, Rob Fergus, Yann LeCun, Li Fei-Fei, Saining Xie

cs.AI

Аннотация

Мы утверждаем, что прогресс в области подлинного мультимодального интеллекта требует перехода от реактивных, ориентированных на задачи систем и грубого использования длинного контекста к более широкой парадигме сверхчувственного восприятия (supersensing). Мы определяем пространственное сверхчувственное восприятие как четыре этапа, выходящие за рамки чисто лингвистического понимания: семантическое восприятие (наименование того, что видится), потоковое познание событий (поддержание памяти в ходе непрерывного опыта), неявное 3D-пространственное познание (вывод о мире за пикселями) и предсказательное моделирование мира (создание внутренних моделей, которые фильтруют и организуют информацию). Современные эталонные тесты в основном проверяют лишь ранние стадии, предлагая узкое покрытие пространственного познания и редко бросая моделям вызовы, требующие подлинного моделирования мира. Чтобы стимулировать прогресс в области пространственного сверхчувственного восприятия, мы представляем VSI-SUPER, двухкомпонентный эталонный тест: VSR (долгосрочное визуальное пространственное вспоминание) и VSC (непрерывный визуальный пространственный подсчет). Эти задачи требуют произвольно длинных видео-входов, но устойчивы к грубому расширению контекста. Затем мы тестируем пределы масштабирования данных, курируя набор VSI-590K и обучая модель Cambrian-S, достигая абсолютного улучшения на +30% на VSI-Bench без ущерба для общих способностей. Однако производительность на VSI-SUPER остается ограниченной, что указывает на недостаточность одного лишь масштабирования для пространственного сверхчувственного восприятия. Мы предлагаем предсказательное восприятие (predictive sensing) как путь вперед, представляя доказательство концепции, в котором самообучаемый предиктор следующего латентного кадра использует удивление (ошибку предсказания) для управления памятью и сегментацией событий. На тесте VSI-SUPER этот подход существенно превосходит ведущие проприетарные базовые модели, показывая, что пространственное сверхчувственное восприятие требует моделей, которые не только видят, но и предвосхищают, отбирают и организуют опыт.

English

We argue that progress in true multimodal intelligence calls for a shift from reactive, task-driven systems and brute-force long context towards a broader paradigm of supersensing. We frame spatial supersensing as four stages beyond linguistic-only understanding: semantic perception (naming what is seen), streaming event cognition (maintaining memory across continuous experiences), implicit 3D spatial cognition (inferring the world behind pixels), and predictive world modeling (creating internal models that filter and organize information). Current benchmarks largely test only the early stages, offering narrow coverage of spatial cognition and rarely challenging models in ways that require true world modeling. To drive progress in spatial supersensing, we present VSI-SUPER, a two-part benchmark: VSR (long-horizon visual spatial recall) and VSC (continual visual spatial counting). These tasks require arbitrarily long video inputs yet are resistant to brute-force context expansion. We then test data scaling limits by curating VSI-590K and training Cambrian-S, achieving +30% absolute improvement on VSI-Bench without sacrificing general capabilities. Yet performance on VSI-SUPER remains limited, indicating that scale alone is insufficient for spatial supersensing. We propose predictive sensing as a path forward, presenting a proof-of-concept in which a self-supervised next-latent-frame predictor leverages surprise (prediction error) to drive memory and event segmentation. On VSI-SUPER, this approach substantially outperforms leading proprietary baselines, showing that spatial supersensing requires models that not only see but also anticipate, select, and organize experience.