Переосмысление JEPA: Вычислительно эффективное обучение с самоконтролем для видео с использованием замороженных моделей-учителей

Rethinking JEPA: Compute-Efficient Video SSL with Frozen Teachers

September 29, 2025

Авторы: Xianhang Li, Chen Huang, Chun-Liang Li, Eran Malach, Josh Susskind, Vimal Thilak, Etai Littwin

cs.AI

Аннотация

Архитектуры с предсказанием совместного представления для видео (V-JEPA) обучают универсальные готовые представления видео, предсказывая замаскированные области в латентном пространстве с использованием учителя, обновляемого по экспоненциальному скользящему среднему (EMA). Хотя EMA предотвращает коллапс представлений, это усложняет масштабируемый выбор модели и связывает архитектуры учителя и ученика. Мы возвращаемся к предсказанию замаскированных латентных представлений и показываем, что замороженный учитель достаточен. Конкретно, мы (i) обучаем целевой кодировщик с простой задачей реконструкции пикселей при маскировании V-JEPA, затем (ii) замораживаем его и обучаем ученика предсказывать латентные представления учителя на замаскированных областях. Это приводит к двухэтапной, нерегуляризованной схеме, которую мы называем SALT (Static-teacher Asymmetric Latent Training). SALT разделяет оптимизацию на реконструкцию пикселей (учитель) и предсказание замаскированных латентных представлений (ученик), повышая прозрачность, эффективность и масштабируемость, сохраняя при этом способность представлений к обобщению при замороженной оценке. Эмпирически наши модели учеников превосходят недавно предложенные кодировщики V-JEPA 2 при оценке с замороженным бэкбоном на различных бенчмарках. Они также более вычислительно оптимальны: при одинаковых затратах на предобучение в FLOPs наш метод достигает более высокой точности при тестировании, а его кривые масштабирования доминируют на Парето-границе точности-FLOPs V-JEPA. Наконец, мы обнаруживаем, что качество ученика удивительно устойчиво к качеству учителя: высокопроизводительные ученики появляются даже с небольшими, неоптимальными учителями. Это указывает на то, что вычислительный бюджет должен преимущественно выделяться ученику. Эти результаты позиционируют SALT как простую, масштабируемую и вычислительно эффективную альтернативу само-дистилляции на основе EMA для обучения представлений видео.

English

Video Joint Embedding Predictive Architectures (V-JEPA) learn generalizable off-the-shelf video representation by predicting masked regions in latent space with an exponential moving average (EMA)-updated teacher. While EMA prevents representation collapse, it complicates scalable model selection and couples teacher and student architectures. We revisit masked-latent prediction and show that a frozen teacher suffices. Concretely, we (i) train a target encoder with a simple pixel-reconstruction objective under V-JEPA masking, then (ii) freeze it and train a student to predict the teacher's latents on masked regions. This leads to a two-stage, unregularized scheme that we refer to as SALT (Static-teacher Asymmetric Latent Training). SALT decouples optimization into pixel reconstruction (teacher) and masked latent prediction (student), increasing transparency, efficiency, and scalability while preserving the ability of representation to generalize under frozen evaluation. Empirically, our student models outperform recently proposed V-JEPA 2 encoders under frozen backbone evaluation across diverse benchmarks. They are also more compute-optimal: at matched pretraining FLOPs, our method achieves higher probing accuracy, and its scaling curves dominate V-JEPA's accuracy-FLOPs Pareto frontier. Finally, we find that student quality is remarkably robust to teacher quality: high-performing students emerge even with small, sub-optimal teachers. This points to a compute budget allocation that should overwhelmingly favor the student. These results position SALT as a simple, scalable, and compute-efficient alternative to EMA-based self-distillation for video representation learning.