V-JEPA 2.1: Erschließung dichter Merkmale in selbstüberwachtem Lernen mit Videos
V-JEPA 2.1: Unlocking Dense Features in Video Self-Supervised Learning
March 15, 2026
Autoren: Lorenzo Mur-Labadia, Matthew Muckley, Amir Bar, Mido Assran, Koustuv Sinha, Mike Rabbat, Yann LeCun, Nicolas Ballas, Adrien Bardes
cs.AI
Zusammenfassung
Wir stellen V-JEPA 2.1 vor, eine Familie von selbstüberwachten Modellen, die dichte, hochwertige visuelle Repräsentationen sowohl für Bilder als auch für Videos lernen und dabei ein starkes globales Szenenverständnis beibehalten. Der Ansatz kombiniert vier Schlüsselkomponenten. Erstens verwendet ein dichter prädiktiver Verlust ein auf Maskierung basierendes Ziel, bei dem sowohl sichtbare als auch maskierte Token zum Trainingssignal beitragen, was eine explizite räumliche und zeitliche Verankerung fördert. Zweitens wendet tiefe Selbstüberwachung das selbstüberwachte Ziel hierarchisch über mehrere Zwischenebenen des Encoders an, um die Repräsentationsqualität zu verbessern. Drittens ermöglichen multimodale Tokenizer ein vereinheitlichtes Training über Bilder und Videos hinweg. Schließlich profitiert das Modell von effektiver Skalierung sowohl der Modellkapazität als auch der Trainingsdaten. Zusammengenommen erzeugen diese Designentscheidungen Repräsentationen, die räumlich strukturiert, semantisch kohärent und zeitlich konsistent sind.
Empirisch erzielt V-JEPA 2.1 state-of-the-art Leistung in mehreren anspruchsvollen Benchmarks, darunter 7,71 mAP bei Ego4D für die kurzfristige Antizipation von Objektinteraktionen und 40,8 Recall@5 bei EPIC-KITCHENS für die Antizipation von High-Level-Aktionen, sowie eine Verbesserung der Greiferfolgsrate bei Echtzeit-Robotern um 20 Punkte gegenüber V-JEPA-2 AC. Das Modell zeigt auch starke Leistung in der robotischen Navigation (5,687 ATE auf TartanDrive), der Tiefenschätzung (0,307 RMSE auf NYUv2 mit einer linearen Sonde) und der globalen Erkennung (77,7 auf Something-Something-V2). Diese Ergebnisse zeigen, dass V-JEPA 2.1 den State of the Art im dichten visuellen Verständnis und der Weltmodellierung erheblich voranbringt.
English
We present V-JEPA 2.1, a family of self-supervised models that learn dense, high-quality visual representations for both images and videos while retaining strong global scene understanding. The approach combines four key components. First, a dense predictive loss uses a masking-based objective in which both visible and masked tokens contribute to the training signal, encouraging explicit spatial and temporal grounding. Second, deep self-supervision applies the self-supervised objective hierarchically across multiple intermediate encoder layers to improve representation quality. Third, multi-modal tokenizers enable unified training across images and videos. Finally, the model benefits from effective scaling in both model capacity and training data. Together, these design choices produce representations that are spatially structured, semantically coherent, and temporally consistent.
Empirically, V-JEPA 2.1 achieves state-of-the-art performance on several challenging benchmarks, including 7.71 mAP on Ego4D for short-term object-interaction anticipation and 40.8 Recall@5 on EPIC-KITCHENS for high-level action anticipation, as well as a 20-point improvement in real-robot grasping success rate over V-JEPA-2 AC. The model also demonstrates strong performance in robotic navigation (5.687 ATE on TartanDrive), depth estimation (0.307 RMSE on NYUv2 with a linear probe), and global recognition (77.7 on Something-Something-V2). These results show that V-JEPA 2.1 significantly advances the state of the art in dense visual understanding and world modeling.