Umdenken bei der visuellen Intelligenz: Erkenntnisse aus dem Video-Pretraining

Rethinking Visual Intelligence: Insights from Video Pretraining

October 28, 2025

papers.authors: Pablo Acuaviva, Aram Davtyan, Mariam Hassan, Sebastian Stapf, Ahmad Rahimi, Alexandre Alahi, Paolo Favaro

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) haben gezeigt, dass groß angelegtes Pretraining Systeme befähigt, sich im Sprachbereich mit geringer Überwachung schnell an neue Probleme anzupassen. Dieser Erfolg hat sich jedoch nicht in gleichem Maße auf den visuellen Bereich übertragen, in dem Modelle, einschließlich LLMs, weiterhin mit kombinatorischem Verständnis, Stichprobeneffizienz und allgemeiner Problemlösungsfähigkeit kämpfen. Wir untersuchen Video-Diffusionsmodelle (VDMs) als vielversprechende Richtung, um diese Lücke zu schließen. Das Pretraining auf raumzeitlichen Daten verleiht diesen Modellen starke induktive Verzerrungen für Struktur und Dynamik, von denen wir annehmen, dass sie eine breite Aufgabenadaptionsfähigkeit unterstützen können. Um dies zu testen, entwerfen wir eine kontrollierte Evaluation, bei der sowohl ein vortrainiertes LLM als auch ein vortrainiertes VDM mit leichtgewichtigen Adaptern ausgestattet und mit Aufgaben in ihren natürlichen Modalitäten konfrontiert werden. Über Benchmarks hinweg, darunter ARC-AGI, ConceptARC, visuelle Spiele, Routenplanung und zelluläre Automaten, zeigen VDMs eine höhere Dateneffizienz als ihre sprachbasierten Gegenstücke. Zusammengenommen deuten unsere Ergebnisse darauf hin, dass Video-Pretraining induktive Verzerrungen bietet, die Fortschritte hin zu visuellen Basismodellen unterstützen.

English

Large language models (LLMs) have demonstrated that large-scale pretraining enables systems to adapt rapidly to new problems with little supervision in the language domain. This success, however, has not translated as effectively to the visual domain, where models, including LLMs, continue to struggle with compositional understanding, sample efficiency, and general-purpose problem-solving. We investigate Video Diffusion Models (VDMs) as a promising direction for bridging this gap. Pretraining on spatiotemporal data endows these models with strong inductive biases for structure and dynamics, which we hypothesize can support broad task adaptability. To test this, we design a controlled evaluation in which both a pretrained LLM and a pretrained VDM are equipped with lightweight adapters and presented with tasks in their natural modalities. Across benchmarks including ARC-AGI, ConceptARC, visual games, route planning, and cellular automata, VDMs demonstrate higher data efficiency than their language counterparts. Taken together, our results indicate that video pretraining offers inductive biases that support progress toward visual foundation models.