V-JEPA 2.1: Desbloqueo de características densas en el aprendizaje autosupervisado de vídeo

Resumen

Presentamos V-JEPA 2.1, una familia de modelos auto-supervisados que aprenden representaciones visuales densas y de alta calidad tanto para imágenes como para vídeos, manteniendo al mismo tiempo una sólida comprensión global de la escena. El enfoque combina cuatro componentes clave. En primer lugar, una función de pérdida predictiva densa utiliza un objetivo basado en enmascaramiento en el que tanto los tokens visibles como los enmascarados contribuyen a la señal de entrenamiento, fomentando una localización espacial y temporal explícita. En segundo lugar, la auto-supervisión profunda aplica el objetivo auto-supervisado de forma jerárquica a través de múltiples capas intermedias del codificador para mejorar la calidad de la representación. En tercer lugar, tokenizadores multimodales permiten un entrenamiento unificado para imágenes y vídeos. Por último, el modelo se beneficia de un escalado efectivo tanto en capacidad del modelo como en datos de entrenamiento. En conjunto, estas decisiones de diseño producen representaciones que son espacialmente estructuradas, semánticamente coherentes y temporalmente consistentes. Empíricamente, V-JEPA 2.1 logra un rendimiento de vanguardia en varios benchmarks desafiantes, incluyendo 7.71 mAP en Ego4D para la anticipación de interacciones con objetos a corto plazo y 40.8 Recall@5 en EPIC-KITCHENS para la anticipación de acciones de alto nivel, así como una mejora de 20 puntos en la tasa de éxito de agarre con robots reales respecto a V-JEPA-2 AC. El modelo también demuestra un fuerte rendimiento en navegación robótica (5.687 ATE en TartanDrive), estimación de profundidad (0.307 RMSE en NYUv2 con un probe lineal) y reconocimiento global (77.7 en Something-Something-V2). Estos resultados muestran que V-JEPA 2.1 avanza significativamente el estado del arte en la comprensión visual densa y el modelado del mundo.

English

We present V-JEPA 2.1, a family of self-supervised models that learn dense, high-quality visual representations for both images and videos while retaining strong global scene understanding. The approach combines four key components. First, a dense predictive loss uses a masking-based objective in which both visible and masked tokens contribute to the training signal, encouraging explicit spatial and temporal grounding. Second, deep self-supervision applies the self-supervised objective hierarchically across multiple intermediate encoder layers to improve representation quality. Third, multi-modal tokenizers enable unified training across images and videos. Finally, the model benefits from effective scaling in both model capacity and training data. Together, these design choices produce representations that are spatially structured, semantically coherent, and temporally consistent. Empirically, V-JEPA 2.1 achieves state-of-the-art performance on several challenging benchmarks, including 7.71 mAP on Ego4D for short-term object-interaction anticipation and 40.8 Recall@5 on EPIC-KITCHENS for high-level action anticipation, as well as a 20-point improvement in real-robot grasping success rate over V-JEPA-2 AC. The model also demonstrates strong performance in robotic navigation (5.687 ATE on TartanDrive), depth estimation (0.307 RMSE on NYUv2 with a linear probe), and global recognition (77.7 on Something-Something-V2). These results show that V-JEPA 2.1 significantly advances the state of the art in dense visual understanding and world modeling.

V-JEPA 2.1: Desbloqueo de características densas en el aprendizaje autosupervisado de vídeo

V-JEPA 2.1: Unlocking Dense Features in Video Self-Supervised Learning

Resumen

Support