Cambrian-S: Hacia la supersensibilidad espacial en video

Resumen

Sostenemos que el progreso en la inteligencia multimodal auténtica requiere un cambio de paradigma, alejándose de sistemas reactivos orientados a tareas y del uso de contexto largo por fuerza bruta, hacia un paradigma más amplio de supersensibilidad. Enmarcamos la supersensibilidad espacial como cuatro etapas que van más allá de la comprensión exclusivamente lingüística: percepción semántica (nombrar lo que se ve), cognición de eventos en flujo continuo (mantener la memoria a través de experiencias continuas), cognición espacial 3D implícita (inferir el mundo detrás de los píxeles) y modelado predictivo del mundo (crear modelos internos que filtran y organizan la información). Los puntos de referencia actuales evalúan principalmente las primeras etapas, ofreciendo una cobertura limitada de la cognición espacial y rara vez desafiando a los modelos de manera que requieran un verdadero modelado del mundo. Para impulsar el progreso en la supersensibilidad espacial, presentamos VSI-SUPER, un punto de referencia de dos partes: VSR (recuerdo visual espacial de largo horizonte) y VSC (conteo visual espacial continuo). Estas tareas requieren entradas de video de longitud arbitraria, pero son resistentes a la expansión de contexto por fuerza bruta. Luego, probamos los límites del escalado de datos mediante la curación de VSI-590K y el entrenamiento de Cambrian-S, logrando una mejora absoluta del +30% en VSI-Bench sin sacrificar las capacidades generales. Sin embargo, el rendimiento en VSI-SUPER sigue siendo limitado, lo que indica que la escala por sí sola es insuficiente para la supersensibilidad espacial. Proponemos la sensibilidad predictiva como un camino a seguir, presentando una prueba de concepto en la que un predictor auto-supervisado del siguiente fotograma latente aprovecha la sorpresa (error de predicción) para impulsar la memoria y la segmentación de eventos. En VSI-SUPER, este enfoque supera sustancialmente a los principales modelos de referencia propietarios, demostrando que la supersensibilidad espacial requiere modelos que no solo ven, sino que también anticipan, seleccionan y organizan la experiencia.

English

We argue that progress in true multimodal intelligence calls for a shift from reactive, task-driven systems and brute-force long context towards a broader paradigm of supersensing. We frame spatial supersensing as four stages beyond linguistic-only understanding: semantic perception (naming what is seen), streaming event cognition (maintaining memory across continuous experiences), implicit 3D spatial cognition (inferring the world behind pixels), and predictive world modeling (creating internal models that filter and organize information). Current benchmarks largely test only the early stages, offering narrow coverage of spatial cognition and rarely challenging models in ways that require true world modeling. To drive progress in spatial supersensing, we present VSI-SUPER, a two-part benchmark: VSR (long-horizon visual spatial recall) and VSC (continual visual spatial counting). These tasks require arbitrarily long video inputs yet are resistant to brute-force context expansion. We then test data scaling limits by curating VSI-590K and training Cambrian-S, achieving +30% absolute improvement on VSI-Bench without sacrificing general capabilities. Yet performance on VSI-SUPER remains limited, indicating that scale alone is insufficient for spatial supersensing. We propose predictive sensing as a path forward, presenting a proof-of-concept in which a self-supervised next-latent-frame predictor leverages surprise (prediction error) to drive memory and event segmentation. On VSI-SUPER, this approach substantially outperforms leading proprietary baselines, showing that spatial supersensing requires models that not only see but also anticipate, select, and organize experience.

Cambrian-S: Hacia la supersensibilidad espacial en video

Cambrian-S: Towards Spatial Supersensing in Video

Resumen

Support