Repensando a Inteligência Visual: Perspectivas do Pré-treinamento em Vídeo

Rethinking Visual Intelligence: Insights from Video Pretraining

October 28, 2025

Autores: Pablo Acuaviva, Aram Davtyan, Mariam Hassan, Sebastian Stapf, Ahmad Rahimi, Alexandre Alahi, Paolo Favaro

cs.AI

Resumo

Os grandes modelos de linguagem (LLMs) demonstraram que o pré-treinamento em larga escala permite que os sistemas se adaptem rapidamente a novos problemas com pouca supervisão no domínio da linguagem. Esse sucesso, no entanto, não se traduziu de forma tão eficaz para o domínio visual, onde os modelos, incluindo LLMs, continuam a enfrentar dificuldades com compreensão composicional, eficiência amostral e resolução de problemas de propósito geral. Investigamos os Modelos de Difusão de Vídeo (VDMs) como uma direção promissora para preencher essa lacuna. O pré-treinamento em dados espaço-temporais dota esses modelos com fortes vieses indutivos para estrutura e dinâmica, o que hipotetizamos pode suportar uma ampla adaptabilidade a tarefas. Para testar isso, projetamos uma avaliação controlada na qual tanto um LLM pré-treinado quanto um VDM pré-treinado são equipados com adaptadores leves e apresentados a tarefas em suas modalidades naturais. Em benchmarks incluindo ARC-AGI, ConceptARC, jogos visuais, planejamento de rotas e autômatos celulares, os VDMs demonstram maior eficiência de dados do que suas contrapartes de linguagem. Em conjunto, nossos resultados indicam que o pré-treinamento em vídeo oferece vieses indutivos que apoiam o progresso em direção a modelos de fundação visual.

English

Large language models (LLMs) have demonstrated that large-scale pretraining enables systems to adapt rapidly to new problems with little supervision in the language domain. This success, however, has not translated as effectively to the visual domain, where models, including LLMs, continue to struggle with compositional understanding, sample efficiency, and general-purpose problem-solving. We investigate Video Diffusion Models (VDMs) as a promising direction for bridging this gap. Pretraining on spatiotemporal data endows these models with strong inductive biases for structure and dynamics, which we hypothesize can support broad task adaptability. To test this, we design a controlled evaluation in which both a pretrained LLM and a pretrained VDM are equipped with lightweight adapters and presented with tasks in their natural modalities. Across benchmarks including ARC-AGI, ConceptARC, visual games, route planning, and cellular automata, VDMs demonstrate higher data efficiency than their language counterparts. Taken together, our results indicate that video pretraining offers inductive biases that support progress toward visual foundation models.