Neubewertung von JEPA: Recheneffizientes Video-SSL mit eingefrorenen Lehrermodellen

Rethinking JEPA: Compute-Efficient Video SSL with Frozen Teachers

September 29, 2025

papers.authors: Xianhang Li, Chen Huang, Chun-Liang Li, Eran Malach, Josh Susskind, Vimal Thilak, Etai Littwin

cs.AI

papers.abstract

Video Joint Embedding Predictive Architectures (V-JEPA) lernen generalisierbare, sofort einsetzbare Videorepräsentationen, indem sie maskierte Regionen im latenten Raum mit einem exponentiell gleitenden Durchschnitt (EMA)-aktualisierten Lehrer vorhersagen. Während EMA den Kollaps der Repräsentation verhindert, erschwert es die skalierbare Modellauswahl und koppelt die Architekturen von Lehrer und Schüler. Wir untersuchen die Vorhersage maskierter latenter Merkmale erneut und zeigen, dass ein eingefrorener Lehrer ausreicht. Konkret (i) trainieren wir einen Ziel-Encoder mit einem einfachen Pixel-Rekonstruktionsziel unter V-JEPA-Maskierung, (ii) frieren ihn ein und trainieren einen Schüler, um die latenten Merkmale des Lehrers in maskierten Regionen vorherzusagen. Dies führt zu einem zweistufigen, unregulierten Schema, das wir als SALT (Static-teacher Asymmetric Latent Training) bezeichnen. SALT entkoppelt die Optimierung in Pixel-Rekonstruktion (Lehrer) und maskierte latente Vorhersage (Schüler), erhöht Transparenz, Effizienz und Skalierbarkeit, während die Fähigkeit der Repräsentation zur Generalisierung unter eingefrorener Evaluation erhalten bleibt. Empirisch übertreffen unsere Schüler-Modelle kürzlich vorgeschlagene V-JEPA 2 Encoder unter eingefrorener Backbone-Evaluation über diverse Benchmarks hinweg. Sie sind auch rechenoptimaler: Bei gleichen Pretraining-FLOPs erreicht unsere Methode höhere Probing-Genauigkeit, und ihre Skalierungskurven dominieren die Genauigkeit-FLOPs-Pareto-Grenze von V-JEPA. Schließlich stellen wir fest, dass die Qualität des Schülers bemerkenswert robust gegenüber der Lehrerqualität ist: Hochleistungsfähige Schüler entstehen selbst mit kleinen, suboptimalen Lehrern. Dies deutet auf eine Rechenbudget-Zuweisung hin, die den Schüler stark bevorzugen sollte. Diese Ergebnisse positionieren SALT als eine einfache, skalierbare und recheneffiziente Alternative zur EMA-basierten Selbst-Distillation für das Erlernen von Videorepräsentationen.

English

Video Joint Embedding Predictive Architectures (V-JEPA) learn generalizable off-the-shelf video representation by predicting masked regions in latent space with an exponential moving average (EMA)-updated teacher. While EMA prevents representation collapse, it complicates scalable model selection and couples teacher and student architectures. We revisit masked-latent prediction and show that a frozen teacher suffices. Concretely, we (i) train a target encoder with a simple pixel-reconstruction objective under V-JEPA masking, then (ii) freeze it and train a student to predict the teacher's latents on masked regions. This leads to a two-stage, unregularized scheme that we refer to as SALT (Static-teacher Asymmetric Latent Training). SALT decouples optimization into pixel reconstruction (teacher) and masked latent prediction (student), increasing transparency, efficiency, and scalability while preserving the ability of representation to generalize under frozen evaluation. Empirically, our student models outperform recently proposed V-JEPA 2 encoders under frozen backbone evaluation across diverse benchmarks. They are also more compute-optimal: at matched pretraining FLOPs, our method achieves higher probing accuracy, and its scaling curves dominate V-JEPA's accuracy-FLOPs Pareto frontier. Finally, we find that student quality is remarkably robust to teacher quality: high-performing students emerge even with small, sub-optimal teachers. This points to a compute budget allocation that should overwhelmingly favor the student. These results position SALT as a simple, scalable, and compute-efficient alternative to EMA-based self-distillation for video representation learning.