Переосмысление визуального интеллекта: идеи, полученные при предварительном обучении на видеоданных

Rethinking Visual Intelligence: Insights from Video Pretraining

October 28, 2025

Авторы: Pablo Acuaviva, Aram Davtyan, Mariam Hassan, Sebastian Stapf, Ahmad Rahimi, Alexandre Alahi, Paolo Favaro

cs.AI

Аннотация

Крупные языковые модели (LLM) продемонстрировали, что масштабное предварительное обучение позволяет системам быстро адаптироваться к новым задачам с минимальным контролем в языковой области. Однако этот успех не получил столь же эффективного распространения в визуальной области, где модели, включая LLM, продолжают испытывать трудности с композиционным пониманием, эффективностью использования данных и решением задач общего назначения. Мы исследуем видео-диффузионные модели (VDM) как перспективное направление для преодоления этого разрыва. Предварительное обучение на пространственно-временных данных наделяет эти модели сильными индуктивными смещениями в отношении структуры и динамики, что, как мы предполагаем, может обеспечить широкую адаптивность к задачам. Чтобы проверить это, мы разрабатываем контролируемую оценку, в которой как предварительно обученная LLM, так и предварительно обученная VDM оснащаются легковесными адаптерами и получают задачи в их естественных модальностях. На наборах тестов, включающих ARC-AGI, ConceptARC, визуальные игры, планирование маршрутов и клеточные автоматы, VDM демонстрируют более высокую эффективность использования данных по сравнению со своими языковыми аналогами. В совокупности наши результаты указывают на то, что предварительное обучение на видео предоставляет индуктивные смещения, способствующие прогрессу в создании визуальных базовых моделей.

English

Large language models (LLMs) have demonstrated that large-scale pretraining enables systems to adapt rapidly to new problems with little supervision in the language domain. This success, however, has not translated as effectively to the visual domain, where models, including LLMs, continue to struggle with compositional understanding, sample efficiency, and general-purpose problem-solving. We investigate Video Diffusion Models (VDMs) as a promising direction for bridging this gap. Pretraining on spatiotemporal data endows these models with strong inductive biases for structure and dynamics, which we hypothesize can support broad task adaptability. To test this, we design a controlled evaluation in which both a pretrained LLM and a pretrained VDM are equipped with lightweight adapters and presented with tasks in their natural modalities. Across benchmarks including ARC-AGI, ConceptARC, visual games, route planning, and cellular automata, VDMs demonstrate higher data efficiency than their language counterparts. Taken together, our results indicate that video pretraining offers inductive biases that support progress toward visual foundation models.