視覚的知能の再考：ビデオ事前学習からの示唆

要旨

大規模言語モデル（LLM）は、言語領域において大規模な事前学習が、わずかな監督で新しい問題へ迅速に適応するシステムを可能にすることを実証してきた。しかし、この成功は視覚領域ではそれほど効果的に波及しておらず、LLMを含むモデルは、合成的理解、サンプル効率、汎用的な問題解決において依然として苦戦している。我々は、このギャップを埋める有望な方向性としてビデオ拡散モデル（VDM）を検討する。時空間データによる事前学習は、これらのモデルに構造とダイナミクスに対する強力な帰納的バイアスを与え、これが広範なタスク適応性を支えると仮説を立てる。これを検証するため、事前学習済みLLMと事前学習済みVDMの両方に軽量なアダプタを装備し、それぞれの自然なモダリティにおけるタスクに直面させる制御評価を設計する。ARC-AGI、ConceptARC、ビジュアルゲーム、経路計画、セルオートマタを含むベンチマークにおいて、VDMは言語モデルと比較して高いデータ効率を示した。総合的に、我々の結果は、ビデオ事前学習が視覚基盤モデルに向けた進歩を支える帰納的バイアスを提供することを示唆している。

English

Large language models (LLMs) have demonstrated that large-scale pretraining enables systems to adapt rapidly to new problems with little supervision in the language domain. This success, however, has not translated as effectively to the visual domain, where models, including LLMs, continue to struggle with compositional understanding, sample efficiency, and general-purpose problem-solving. We investigate Video Diffusion Models (VDMs) as a promising direction for bridging this gap. Pretraining on spatiotemporal data endows these models with strong inductive biases for structure and dynamics, which we hypothesize can support broad task adaptability. To test this, we design a controlled evaluation in which both a pretrained LLM and a pretrained VDM are equipped with lightweight adapters and presented with tasks in their natural modalities. Across benchmarks including ARC-AGI, ConceptARC, visual games, route planning, and cellular automata, VDMs demonstrate higher data efficiency than their language counterparts. Taken together, our results indicate that video pretraining offers inductive biases that support progress toward visual foundation models.

視覚的知能の再考：ビデオ事前学習からの示唆

Rethinking Visual Intelligence: Insights from Video Pretraining

要旨

Support