Ripensare l'intelligenza visiva: spunti dalla pre-addestramento video

Rethinking Visual Intelligence: Insights from Video Pretraining

October 28, 2025

Autori: Pablo Acuaviva, Aram Davtyan, Mariam Hassan, Sebastian Stapf, Ahmad Rahimi, Alexandre Alahi, Paolo Favaro

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) hanno dimostrato che il pre-addestramento su larga scala consente ai sistemi di adattarsi rapidamente a nuovi problemi con poca supervisione nel dominio linguistico. Questo successo, tuttavia, non si è tradotto con la stessa efficacia nel dominio visivo, dove i modelli, inclusi gli LLM, continuano a lottare con la comprensione composizionale, l'efficienza campionaria e la risoluzione di problemi di carattere generale. Investigiamo i Modelli di Diffusione su Video (Video Diffusion Models, VDM) come una direzione promettente per colmare questa lacuna. Il pre-addestramento su dati spaziotemporali conferisce a questi modelli forti bias induttivi per la struttura e la dinamica, che ipotizziamo possano supportare un'ampia adattabilità ai compiti. Per testare ciò, progettiamo una valutazione controllata in cui sia un LLM pre-addestrato che un VDM pre-addestrato sono equipaggiati con adattatori leggeri e sottoposti a compiti nelle loro modalità naturali. Attraverso benchmark che includono ARC-AGI, ConceptARC, giochi visivi, pianificazione di percorsi e automi cellulari, i VDM dimostrano un'efficienza dei dati superiore rispetto alle loro controparti linguistiche. Nel complesso, i nostri risultati indicano che il pre-addestramento su video offre bias induttivi che favoriscono il progresso verso modelli fondazionali visivi.

English

Large language models (LLMs) have demonstrated that large-scale pretraining enables systems to adapt rapidly to new problems with little supervision in the language domain. This success, however, has not translated as effectively to the visual domain, where models, including LLMs, continue to struggle with compositional understanding, sample efficiency, and general-purpose problem-solving. We investigate Video Diffusion Models (VDMs) as a promising direction for bridging this gap. Pretraining on spatiotemporal data endows these models with strong inductive biases for structure and dynamics, which we hypothesize can support broad task adaptability. To test this, we design a controlled evaluation in which both a pretrained LLM and a pretrained VDM are equipped with lightweight adapters and presented with tasks in their natural modalities. Across benchmarks including ARC-AGI, ConceptARC, visual games, route planning, and cellular automata, VDMs demonstrate higher data efficiency than their language counterparts. Taken together, our results indicate that video pretraining offers inductive biases that support progress toward visual foundation models.