ビデオモデルはゼロショット学習者および推論者として機能する

要旨

大規模言語モデル（LLMs）の驚異的なゼロショット能力は、自然言語処理をタスク特化型モデルから統一された汎用基盤モデルへと推進してきた。この変革は、ウェブ規模のデータで訓練された大規模な生成モデルという単純なプリミティブから生まれた。興味深いことに、同じプリミティブが今日の生成映像モデルにも当てはまる。映像モデルは、LLMsが汎用言語理解を発展させたのと同様に、汎用視覚理解に向かう軌道に乗っているのだろうか？私たちは、Veo 3が明示的に訓練されていない多様なタスクを解決できることを実証した：物体のセグメンテーション、エッジ検出、画像編集、物理的特性の理解、物体のアフォーダンス認識、ツール使用のシミュレーションなど。これらの視覚世界を認識し、モデル化し、操作する能力は、迷路や対称性の解決のような初期の視覚推論を可能にする。Veoの創発的なゼロショット能力は、映像モデルが統一された汎用視覚基盤モデルへと向かう道筋にあることを示唆している。

English

The remarkable zero-shot capabilities of Large Language Models (LLMs) have propelled natural language processing from task-specific models to unified, generalist foundation models. This transformation emerged from simple primitives: large, generative models trained on web-scale data. Curiously, the same primitives apply to today's generative video models. Could video models be on a trajectory towards general-purpose vision understanding, much like LLMs developed general-purpose language understanding? We demonstrate that Veo 3 can solve a broad variety of tasks it wasn't explicitly trained for: segmenting objects, detecting edges, editing images, understanding physical properties, recognizing object affordances, simulating tool use, and more. These abilities to perceive, model, and manipulate the visual world enable early forms of visual reasoning like maze and symmetry solving. Veo's emergent zero-shot capabilities indicate that video models are on a path to becoming unified, generalist vision foundation models.

ビデオモデルはゼロショット学習者および推論者として機能する

Video models are zero-shot learners and reasoners

要旨

Support