V-JEPA 2.1: Het Ontsluiten van Dichte Kenmerken in Zelfgesuperviseerd Leren met Video
V-JEPA 2.1: Unlocking Dense Features in Video Self-Supervised Learning
March 15, 2026
Auteurs: Lorenzo Mur-Labadia, Matthew Muckley, Amir Bar, Mido Assran, Koustuv Sinha, Mike Rabbat, Yann LeCun, Nicolas Ballas, Adrien Bardes
cs.AI
Samenvatting
Wij presenteren V-JEPA 2.1, een familie van zelf-gesuperviseerde modellen die dichte, hoogwaardige visuele representaties leren voor zowel afbeeldingen als video's, met behoud van een sterk globaal scènebegrip. De aanpak combineert vier belangrijke componenten. Ten eerste gebruikt een dicht voorspellend verlies een op maskering gebaseerd doel waarbij zowel zichtbare als gemaskeerde tokens bijdragen aan het trainingssignaal, wat expliciete ruimtelijke en temporele verankering stimuleert. Ten tweede past diepe zelf-supervisie het zelf-gesuperviseerde doel hiërarchisch toe over meerdere tussenliggende encoderlagen om de representatiekwaliteit te verbeteren. Ten derde maken multimodale tokenizers uniforme training over afbeeldingen en video's mogelijk. Tot slot profiteert het model van effectieve schaalvergroting in zowel modelcapaciteit als trainingsdata. Gezamenlijk produceren deze ontwerpkeuzes representaties die ruimtelijk gestructureerd, semantisch coherent en temporeel consistent zijn.
Empirisch behaalt V-JEPA 2.1 state-of-the-art prestaties op verschillende uitdagende benchmarks, waaronder 7.71 mAP op Ego4D voor kortetermijnverwachting van objectinteracties en 40.8 Recall@5 op EPIC-KITCHENS voor verwachting van hoogwaardige acties, evenals een verbetering van 20 punten in het grijpsuccespercentage bij echte robots ten opzichte van V-JEPA-2 AC. Het model toont ook sterke prestaties in robotnavigatie (5.687 ATE op TartanDrive), diepteschatting (0.307 RMSE op NYUv2 met een lineaire probe) en globale herkenning (77.7 op Something-Something-V2). Deze resultaten tonen aan dat V-JEPA 2.1 de state-of-the-art aanzienlijk vooruithelpt in dicht visueel begrip en wereldmodellering.
English
We present V-JEPA 2.1, a family of self-supervised models that learn dense, high-quality visual representations for both images and videos while retaining strong global scene understanding. The approach combines four key components. First, a dense predictive loss uses a masking-based objective in which both visible and masked tokens contribute to the training signal, encouraging explicit spatial and temporal grounding. Second, deep self-supervision applies the self-supervised objective hierarchically across multiple intermediate encoder layers to improve representation quality. Third, multi-modal tokenizers enable unified training across images and videos. Finally, the model benefits from effective scaling in both model capacity and training data. Together, these design choices produce representations that are spatially structured, semantically coherent, and temporally consistent.
Empirically, V-JEPA 2.1 achieves state-of-the-art performance on several challenging benchmarks, including 7.71 mAP on Ego4D for short-term object-interaction anticipation and 40.8 Recall@5 on EPIC-KITCHENS for high-level action anticipation, as well as a 20-point improvement in real-robot grasping success rate over V-JEPA-2 AC. The model also demonstrates strong performance in robotic navigation (5.687 ATE on TartanDrive), depth estimation (0.307 RMSE on NYUv2 with a linear probe), and global recognition (77.7 on Something-Something-V2). These results show that V-JEPA 2.1 significantly advances the state of the art in dense visual understanding and world modeling.