Los modelos de video son aprendices y razonadores de cero disparos.

Video models are zero-shot learners and reasoners

September 24, 2025

Autores: Thaddäus Wiedemer, Yuxuan Li, Paul Vicol, Shixiang Shane Gu, Nick Matarese, Kevin Swersky, Been Kim, Priyank Jaini, Robert Geirhos

cs.AI

Resumen

Las notables capacidades zero-shot de los Modelos de Lenguaje a Gran Escala (LLMs) han impulsado el procesamiento del lenguaje natural desde modelos específicos para tareas hacia modelos fundacionales unificados y generalistas. Esta transformación surgió de principios simples: modelos generativos de gran escala entrenados con datos a escala web. Curiosamente, los mismos principios se aplican a los modelos generativos de video actuales. ¿Podrían los modelos de video estar en una trayectoria hacia la comprensión visual de propósito general, de manera similar a como los LLMs desarrollaron la comprensión del lenguaje de propósito general? Demostramos que Veo 3 puede resolver una amplia variedad de tareas para las que no fue entrenado explícitamente: segmentar objetos, detectar bordes, editar imágenes, comprender propiedades físicas, reconocer affordances de objetos, simular el uso de herramientas y más. Estas habilidades para percibir, modelar y manipular el mundo visual permiten formas tempranas de razonamiento visual, como la resolución de laberintos y simetrías. Las capacidades emergentes zero-shot de Veo indican que los modelos de video están en camino a convertirse en modelos fundacionales de visión unificados y generalistas.

English

The remarkable zero-shot capabilities of Large Language Models (LLMs) have propelled natural language processing from task-specific models to unified, generalist foundation models. This transformation emerged from simple primitives: large, generative models trained on web-scale data. Curiously, the same primitives apply to today's generative video models. Could video models be on a trajectory towards general-purpose vision understanding, much like LLMs developed general-purpose language understanding? We demonstrate that Veo 3 can solve a broad variety of tasks it wasn't explicitly trained for: segmenting objects, detecting edges, editing images, understanding physical properties, recognizing object affordances, simulating tool use, and more. These abilities to perceive, model, and manipulate the visual world enable early forms of visual reasoning like maze and symmetry solving. Veo's emergent zero-shot capabilities indicate that video models are on a path to becoming unified, generalist vision foundation models.