Repensando o JEPA: SSL Eficiente em Computação para Vídeo com Professores Congelados

Rethinking JEPA: Compute-Efficient Video SSL with Frozen Teachers

September 29, 2025

Autores: Xianhang Li, Chen Huang, Chun-Liang Li, Eran Malach, Josh Susskind, Vimal Thilak, Etai Littwin

cs.AI

Resumo

As Video Joint Embedding Predictive Architectures (V-JEPA) aprendem representações de vídeo generalizáveis e prontas para uso ao prever regiões mascaradas no espaço latente com um professor atualizado por média móvel exponencial (EMA). Embora o EMA evite o colapso da representação, ele complica a seleção escalável de modelos e acopla as arquiteturas do professor e do aluno. Revisitamos a previsão de latentes mascarados e mostramos que um professor congelado é suficiente. Concretamente, nós (i) treinamos um codificador alvo com um objetivo simples de reconstrução de pixels sob o mascaramento V-JEPA, então (ii) o congelamos e treinamos um aluno para prever os latentes do professor em regiões mascaradas. Isso leva a um esquema de duas etapas e não regularizado que chamamos de SALT (Static-teacher Asymmetric Latent Training). O SALT desacopla a otimização em reconstrução de pixels (professor) e previsão de latentes mascarados (aluno), aumentando a transparência, eficiência e escalabilidade, enquanto preserva a capacidade da representação de generalizar sob avaliação congelada. Empiricamente, nossos modelos de aluno superam os codificadores V-JEPA 2 recentemente propostos sob avaliação de backbone congelada em diversos benchmarks. Eles também são mais otimizados em termos de computação: com FLOPs de pré-treinamento equivalentes, nosso método alcança maior precisão de sondagem, e suas curvas de escalonamento dominam a fronteira de Pareto de precisão-FLOPs do V-JEPA. Por fim, descobrimos que a qualidade do aluno é notavelmente robusta à qualidade do professor: alunos de alto desempenho surgem mesmo com professores pequenos e sub-ótimos. Isso aponta para uma alocação de orçamento de computação que deve favorecer massivamente o aluno. Esses resultados posicionam o SALT como uma alternativa simples, escalável e computacionalmente eficiente à auto-distilação baseada em EMA para aprendizado de representação de vídeo.

English

Video Joint Embedding Predictive Architectures (V-JEPA) learn generalizable off-the-shelf video representation by predicting masked regions in latent space with an exponential moving average (EMA)-updated teacher. While EMA prevents representation collapse, it complicates scalable model selection and couples teacher and student architectures. We revisit masked-latent prediction and show that a frozen teacher suffices. Concretely, we (i) train a target encoder with a simple pixel-reconstruction objective under V-JEPA masking, then (ii) freeze it and train a student to predict the teacher's latents on masked regions. This leads to a two-stage, unregularized scheme that we refer to as SALT (Static-teacher Asymmetric Latent Training). SALT decouples optimization into pixel reconstruction (teacher) and masked latent prediction (student), increasing transparency, efficiency, and scalability while preserving the ability of representation to generalize under frozen evaluation. Empirically, our student models outperform recently proposed V-JEPA 2 encoders under frozen backbone evaluation across diverse benchmarks. They are also more compute-optimal: at matched pretraining FLOPs, our method achieves higher probing accuracy, and its scaling curves dominate V-JEPA's accuracy-FLOPs Pareto frontier. Finally, we find that student quality is remarkably robust to teacher quality: high-performing students emerge even with small, sub-optimal teachers. This points to a compute budget allocation that should overwhelmingly favor the student. These results position SALT as a simple, scalable, and compute-efficient alternative to EMA-based self-distillation for video representation learning.