V-JEPA 2.1: Раскрытие потенциала плотных признаков в самообучении на видео
V-JEPA 2.1: Unlocking Dense Features in Video Self-Supervised Learning
March 15, 2026
Авторы: Lorenzo Mur-Labadia, Matthew Muckley, Amir Bar, Mido Assran, Koustuv Sinha, Mike Rabbat, Yann LeCun, Nicolas Ballas, Adrien Bardes
cs.AI
Аннотация
Мы представляем V-JEPA 2.1 — семейство самообучаемых моделей, которые формируют плотные высококачественные визуальные представления как для изображений, так и для видео, сохраняя при этом глубокое глобальное понимание сцены. Данный подход объединяет четыре ключевых компонента. Во-первых, функция плотного прогностического потерь использует задачу, основанную на маскировании, в которой как видимые, так и замаскированные токены вносят вклад в обучающий сигнал, способствуя явной пространственной и временной привязке. Во-вторых, глубокая самообученность применяет самообучаемую задачу иерархически на нескольких промежуточных слоях энкодера для повышения качества представлений. В-третьих, мультимодальные токенизаторы обеспечивают единый процесс обучения для изображений и видео. Наконец, модель выигрывает от эффективного масштабирования как ёмкости модели, так и объёма обучающих данных. В совокупности эти проектные решения порождают представления, которые являются пространственно структурированными, семантически связными и временно согласованными.
Эмпирически V-JEPA 2.1 демонстрирует наилучшие результаты на нескольких сложных тестах, включая 7.71 mAP на Ego4D для прогнозирования краткосрочных объектных взаимодействий и 40.8 Recall@5 на EPIC-KITCHENS для прогнозирования действий высокого уровня, а также 20-процентное улучшение успешности захвата реальным роботом по сравнению с V-JEPA-2 AC. Модель также показывает высокую производительность в роботизированной навигации (5.687 ATE на TartanDrive), оценке глубины (0.307 RMSE на NYUv2 с линейным пробником) и глобальном распознавании (77.7 на Something-Something-V2). Эти результаты свидетельствуют о том, что V-JEPA 2.1 существенно продвигает состояние дел в области плотного визуального понимания и моделирования мира.
English
We present V-JEPA 2.1, a family of self-supervised models that learn dense, high-quality visual representations for both images and videos while retaining strong global scene understanding. The approach combines four key components. First, a dense predictive loss uses a masking-based objective in which both visible and masked tokens contribute to the training signal, encouraging explicit spatial and temporal grounding. Second, deep self-supervision applies the self-supervised objective hierarchically across multiple intermediate encoder layers to improve representation quality. Third, multi-modal tokenizers enable unified training across images and videos. Finally, the model benefits from effective scaling in both model capacity and training data. Together, these design choices produce representations that are spatially structured, semantically coherent, and temporally consistent.
Empirically, V-JEPA 2.1 achieves state-of-the-art performance on several challenging benchmarks, including 7.71 mAP on Ego4D for short-term object-interaction anticipation and 40.8 Recall@5 on EPIC-KITCHENS for high-level action anticipation, as well as a 20-point improvement in real-robot grasping success rate over V-JEPA-2 AC. The model also demonstrates strong performance in robotic navigation (5.687 ATE on TartanDrive), depth estimation (0.307 RMSE on NYUv2 with a linear probe), and global recognition (77.7 on Something-Something-V2). These results show that V-JEPA 2.1 significantly advances the state of the art in dense visual understanding and world modeling.