Herbezien van visuele intelligentie: inzichten uit videovoorpretraining

Samenvatting

Grote taalmodelen (LLM's) hebben aangetoond dat grootschalige voorafgaande training systemen in staat stelt zich snel aan te passen aan nieuwe problemen met weinig supervisie in het taaldomein. Dit succes heeft zich echter niet zo effectief vertaald naar het visuele domein, waar modellen, inclusief LLM's, blijven worstelen met compositioneel begrip, steekproevefficiëntie en algemeen probleemoplossend vermogen. Wij onderzoeken Video Diffusiemodellen (VDM's) als een veelbelovende richting om deze kloof te overbruggen. Voorafgaande training op spatiotemporele data geeft deze modellen sterke inductieve vooroordelen voor structuur en dynamica, waarvan wij veronderstellen dat deze een brede taakadaptatie kunnen ondersteunen. Om dit te testen, ontwerpen wij een gecontroleerde evaluatie waarin zowel een vooraf getraind LLM als een vooraf getraind VDM worden uitgerust met lichtgewicht adapters en taken krijgen aangeboden in hun natuurlijke modaliteiten. Over benchmarks zoals ARC-AGI, ConceptARC, visuele spellen, routeplanning en cellulaire automata heen tonen VDM's een hogere data-efficiëntie dan hun taalkundige tegenhangers. Samengenomen geven onze resultaten aan dat videopretraining inductieve vooroordelen biedt die de vooruitgang richting visuele foundationmodellen ondersteunen.

English

Large language models (LLMs) have demonstrated that large-scale pretraining enables systems to adapt rapidly to new problems with little supervision in the language domain. This success, however, has not translated as effectively to the visual domain, where models, including LLMs, continue to struggle with compositional understanding, sample efficiency, and general-purpose problem-solving. We investigate Video Diffusion Models (VDMs) as a promising direction for bridging this gap. Pretraining on spatiotemporal data endows these models with strong inductive biases for structure and dynamics, which we hypothesize can support broad task adaptability. To test this, we design a controlled evaluation in which both a pretrained LLM and a pretrained VDM are equipped with lightweight adapters and presented with tasks in their natural modalities. Across benchmarks including ARC-AGI, ConceptARC, visual games, route planning, and cellular automata, VDMs demonstrate higher data efficiency than their language counterparts. Taken together, our results indicate that video pretraining offers inductive biases that support progress toward visual foundation models.

Herbezien van visuele intelligentie: inzichten uit videovoorpretraining

Rethinking Visual Intelligence: Insights from Video Pretraining

Samenvatting

Support