Les modèles vidéo sont des apprenants et raisonneurs en zero-shot.
Video models are zero-shot learners and reasoners
September 24, 2025
papers.authors: Thaddäus Wiedemer, Yuxuan Li, Paul Vicol, Shixiang Shane Gu, Nick Matarese, Kevin Swersky, Been Kim, Priyank Jaini, Robert Geirhos
cs.AI
papers.abstract
Les remarquables capacités zero-shot des grands modèles de langage (LLMs) ont propulsé le traitement du langage naturel des modèles spécifiques à des tâches vers des modèles de base unifiés et généralistes. Cette transformation est née de principes simples : de grands modèles génératifs entraînés sur des données à l'échelle du web. Curieusement, les mêmes principes s'appliquent aux modèles génératifs vidéo actuels. Les modèles vidéo pourraient-ils être sur une trajectoire vers une compréhension visuelle à usage général, à l'instar des LLMs qui ont développé une compréhension linguistique polyvalente ? Nous démontrons que Veo 3 peut résoudre une grande variété de tâches pour lesquelles il n'a pas été explicitement entraîné : segmenter des objets, détecter des contours, éditer des images, comprendre des propriétés physiques, reconnaître les affordances d'objets, simuler l'utilisation d'outils, et plus encore. Ces capacités à percevoir, modéliser et manipuler le monde visuel permettent des formes précoces de raisonnement visuel, comme la résolution de labyrinthes et de symétries. Les capacités zero-shot émergentes de Veo indiquent que les modèles vidéo sont sur la voie de devenir des modèles de base visuels unifiés et généralistes.
English
The remarkable zero-shot capabilities of Large Language Models (LLMs) have
propelled natural language processing from task-specific models to unified,
generalist foundation models. This transformation emerged from simple
primitives: large, generative models trained on web-scale data. Curiously, the
same primitives apply to today's generative video models. Could video models be
on a trajectory towards general-purpose vision understanding, much like LLMs
developed general-purpose language understanding? We demonstrate that Veo 3 can
solve a broad variety of tasks it wasn't explicitly trained for: segmenting
objects, detecting edges, editing images, understanding physical properties,
recognizing object affordances, simulating tool use, and more. These abilities
to perceive, model, and manipulate the visual world enable early forms of
visual reasoning like maze and symmetry solving. Veo's emergent zero-shot
capabilities indicate that video models are on a path to becoming unified,
generalist vision foundation models.