Heroverdenken van JEPA: Compute-efficiënte Video SSL met Bevroren Leraren

Samenvatting

Video Joint Embedding Predictive Architectures (V-JEPA) leren algemeen toepasbare, kant-en-klare videorepresentaties door gemaskeerde regio's in de latente ruimte te voorspellen met een leraar die wordt bijgewerkt via een exponentieel voortschrijdend gemiddelde (EMA). Hoewel EMA representatiecollaps voorkomt, bemoeilijkt het schaalbare modelselectie en koppelt het de architecturen van leraar en student. Wij herzien de voorspelling van gemaskeerde latente ruimtes en tonen aan dat een bevroren leraar voldoende is. Concreet (i) trainen we een doelencoder met een eenvoudig pixelreconstructiedoel onder V-JEPA-masking, en (ii) bevriezen we deze en trainen we een student om de latente ruimtes van de leraar op gemaskeerde regio's te voorspellen. Dit leidt tot een tweestaps, ongereguleerd schema dat we SALT noemen (Static-teacher Asymmetric Latent Training). SALT ontkoppelt optimalisatie in pixelreconstructie (leraar) en gemaskeerde latente voorspelling (student), wat transparantie, efficiëntie en schaalbaarheid verhoogt terwijl het vermogen van de representatie om te generaliseren onder bevroren evaluatie behouden blijft. Empirisch presteren onze studentmodellen beter dan recent voorgestelde V-JEPA 2-encoders onder bevroren backbone-evaluatie op diverse benchmarks. Ze zijn ook rekenoptimaler: bij gelijke pretrainings-FLOPs behaalt onze methode een hogere probingnauwkeurigheid, en domineren de schaalcurves de nauwkeurigheid-FLOPs Pareto-grens van V-JEPA. Tot slot ontdekken we dat de kwaliteit van de student opmerkelijk robuust is ten opzichte van de kwaliteit van de leraar: hoogpresterende studenten ontstaan zelfs met kleine, suboptimale leraren. Dit wijst op een rekenbudgetallocatie die overweldigend in het voordeel van de student moet zijn. Deze resultaten positioneren SALT als een eenvoudig, schaalbaar en reken-efficiënt alternatief voor EMA-gebaseerde zelfdistillatie voor videorepresentatieleren.

English

Video Joint Embedding Predictive Architectures (V-JEPA) learn generalizable off-the-shelf video representation by predicting masked regions in latent space with an exponential moving average (EMA)-updated teacher. While EMA prevents representation collapse, it complicates scalable model selection and couples teacher and student architectures. We revisit masked-latent prediction and show that a frozen teacher suffices. Concretely, we (i) train a target encoder with a simple pixel-reconstruction objective under V-JEPA masking, then (ii) freeze it and train a student to predict the teacher's latents on masked regions. This leads to a two-stage, unregularized scheme that we refer to as SALT (Static-teacher Asymmetric Latent Training). SALT decouples optimization into pixel reconstruction (teacher) and masked latent prediction (student), increasing transparency, efficiency, and scalability while preserving the ability of representation to generalize under frozen evaluation. Empirically, our student models outperform recently proposed V-JEPA 2 encoders under frozen backbone evaluation across diverse benchmarks. They are also more compute-optimal: at matched pretraining FLOPs, our method achieves higher probing accuracy, and its scaling curves dominate V-JEPA's accuracy-FLOPs Pareto frontier. Finally, we find that student quality is remarkably robust to teacher quality: high-performing students emerge even with small, sub-optimal teachers. This points to a compute budget allocation that should overwhelmingly favor the student. These results position SALT as a simple, scalable, and compute-efficient alternative to EMA-based self-distillation for video representation learning.

Heroverdenken van JEPA: Compute-efficiënte Video SSL met Bevroren Leraren

Rethinking JEPA: Compute-Efficient Video SSL with Frozen Teachers

Samenvatting

Support