V-JEPA 2.1: Sbloccare le caratteristiche dense nell'apprendimento auto-supervisionato sui video
V-JEPA 2.1: Unlocking Dense Features in Video Self-Supervised Learning
March 15, 2026
Autori: Lorenzo Mur-Labadia, Matthew Muckley, Amir Bar, Mido Assran, Koustuv Sinha, Mike Rabbat, Yann LeCun, Nicolas Ballas, Adrien Bardes
cs.AI
Abstract
Presentiamo V-JEPA 2.1, una famiglia di modelli auto-supervisionati che apprendono rappresentazioni visive dense e di alta qualità sia per immagini che per video, mantenendo al contempo una solida comprensione globale della scena. L'approccio combina quattro componenti chiave. In primo luogo, una funzione di perdita predittiva densa utilizza un obiettivo basato sul mascheramento, in cui sia i token visibili che quelli mascherati contribuiscono al segnale di addestramento, incoraggiando un ancoraggio spaziale e temporale esplicito. In secondo luogo, l'auto-supervisione profonda applica l'obiettivo auto-supervisionato in modo gerarchico su più livelli intermedi dell'encoder per migliorare la qualità della rappresentazione. In terzo luogo, tokenizzatori multimodali consentono un addestramento unificato su immagini e video. Infine, il modello beneficia di un efficace scaling sia della capacità del modello che dei dati di addestramento. Insieme, queste scelte progettuali producono rappresentazioni che sono spazialmente strutturate, semanticamente coerenti e temporalmente consistenti.
Empiricamente, V-JEPA 2.1 raggiunge prestazioni all'avanguardia su diverse benchmark impegnative, inclusi 7.71 mAP su Ego4D per l'anticipazione a breve termine di interazioni con oggetti e 40.8 Recall@5 su EPIC-KITCHENS per l'anticipazione di azioni di alto livello, oltre a un miglioramento di 20 punti nel tasso di successo della presa per robot reali rispetto a V-JEPA-2 AC. Il modello dimostra anche forti prestazioni nella navigazione robotica (5.687 ATE su TartanDrive), nella stima della profondità (0.307 RMSE su NYUv2 con una sonda lineare) e nel riconoscimento globale (77.7 su Something-Something-V2). Questi risultati mostrano che V-JEPA 2.1 avanza significativamente lo stato dell'arte nella comprensione visiva densa e nella modellazione del mondo.
English
We present V-JEPA 2.1, a family of self-supervised models that learn dense, high-quality visual representations for both images and videos while retaining strong global scene understanding. The approach combines four key components. First, a dense predictive loss uses a masking-based objective in which both visible and masked tokens contribute to the training signal, encouraging explicit spatial and temporal grounding. Second, deep self-supervision applies the self-supervised objective hierarchically across multiple intermediate encoder layers to improve representation quality. Third, multi-modal tokenizers enable unified training across images and videos. Finally, the model benefits from effective scaling in both model capacity and training data. Together, these design choices produce representations that are spatially structured, semantically coherent, and temporally consistent.
Empirically, V-JEPA 2.1 achieves state-of-the-art performance on several challenging benchmarks, including 7.71 mAP on Ego4D for short-term object-interaction anticipation and 40.8 Recall@5 on EPIC-KITCHENS for high-level action anticipation, as well as a 20-point improvement in real-robot grasping success rate over V-JEPA-2 AC. The model also demonstrates strong performance in robotic navigation (5.687 ATE on TartanDrive), depth estimation (0.307 RMSE on NYUv2 with a linear probe), and global recognition (77.7 on Something-Something-V2). These results show that V-JEPA 2.1 significantly advances the state of the art in dense visual understanding and world modeling.