Replanteando JEPA: Aprendizaje Autosupervisado Eficiente en Cómputo para Vídeo con Profesores Congelados

Rethinking JEPA: Compute-Efficient Video SSL with Frozen Teachers

September 29, 2025

Autores: Xianhang Li, Chen Huang, Chun-Liang Li, Eran Malach, Josh Susskind, Vimal Thilak, Etai Littwin

cs.AI

Resumen

Las Arquitecturas de Predicción de Incrustación Conjunta de Video (V-JEPA) aprenden representaciones de video generalizables listas para usar al predecir regiones enmascaradas en el espacio latente con un profesor actualizado mediante una media móvil exponencial (EMA). Si bien la EMA previene el colapso de la representación, complica la selección escalable de modelos y acopla las arquitecturas del profesor y el estudiante. Revisitamos la predicción de latentes enmascarados y demostramos que un profesor congelado es suficiente. Concretamente, (i) entrenamos un codificador objetivo con un objetivo simple de reconstrucción de píxeles bajo el enmascaramiento de V-JEPA, luego (ii) lo congelamos y entrenamos un estudiante para predecir los latentes del profesor en regiones enmascaradas. Esto da lugar a un esquema de dos etapas sin regularización que denominamos SALT (Entrenamiento Asimétrico de Latentes con Profesor Estático). SALT desacopla la optimización en reconstrucción de píxeles (profesor) y predicción de latentes enmascarados (estudiante), aumentando la transparencia, eficiencia y escalabilidad mientras se preserva la capacidad de la representación para generalizar bajo evaluación congelada. Empíricamente, nuestros modelos estudiantiles superan a los codificadores V-JEPA 2 recientemente propuestos en evaluación con backbone congelado en diversos benchmarks. También son más óptimos en términos de cómputo: con FLOPs de preentrenamiento equivalentes, nuestro método logra mayor precisión en pruebas, y sus curvas de escalado dominan la frontera de Pareto precisión-FLOPs de V-JEPA. Finalmente, encontramos que la calidad del estudiante es notablemente robusta a la calidad del profesor: estudiantes de alto rendimiento emergen incluso con profesores pequeños y subóptimos. Esto sugiere una asignación del presupuesto de cómputo que debería favorecer abrumadoramente al estudiante. Estos resultados posicionan a SALT como una alternativa simple, escalable y eficiente en cómputo a la auto-distilación basada en EMA para el aprendizaje de representaciones de video.

English

Video Joint Embedding Predictive Architectures (V-JEPA) learn generalizable off-the-shelf video representation by predicting masked regions in latent space with an exponential moving average (EMA)-updated teacher. While EMA prevents representation collapse, it complicates scalable model selection and couples teacher and student architectures. We revisit masked-latent prediction and show that a frozen teacher suffices. Concretely, we (i) train a target encoder with a simple pixel-reconstruction objective under V-JEPA masking, then (ii) freeze it and train a student to predict the teacher's latents on masked regions. This leads to a two-stage, unregularized scheme that we refer to as SALT (Static-teacher Asymmetric Latent Training). SALT decouples optimization into pixel reconstruction (teacher) and masked latent prediction (student), increasing transparency, efficiency, and scalability while preserving the ability of representation to generalize under frozen evaluation. Empirically, our student models outperform recently proposed V-JEPA 2 encoders under frozen backbone evaluation across diverse benchmarks. They are also more compute-optimal: at matched pretraining FLOPs, our method achieves higher probing accuracy, and its scaling curves dominate V-JEPA's accuracy-FLOPs Pareto frontier. Finally, we find that student quality is remarkably robust to teacher quality: high-performing students emerge even with small, sub-optimal teachers. This points to a compute budget allocation that should overwhelmingly favor the student. These results position SALT as a simple, scalable, and compute-efficient alternative to EMA-based self-distillation for video representation learning.