Видеомодели являются обучаемыми и способными к рассуждениям в режиме "нулевого сэмпла".
Video models are zero-shot learners and reasoners
September 24, 2025
Авторы: Thaddäus Wiedemer, Yuxuan Li, Paul Vicol, Shixiang Shane Gu, Nick Matarese, Kevin Swersky, Been Kim, Priyank Jaini, Robert Geirhos
cs.AI
Аннотация
Замечательные способности крупных языковых моделей (LLM) к выполнению задач без предварительного обучения (zero-shot) способствовали переходу в области обработки естественного языка от специализированных моделей к универсальным базовым моделям общего назначения. Эта трансформация возникла из простых принципов: большие генеративные модели, обученные на данных веб-масштаба. Интересно, что те же принципы применимы к современным генеративным моделям для видео. Могут ли модели для видео двигаться по пути к универсальному пониманию визуальной информации, подобно тому, как LLM развили универсальное понимание языка? Мы демонстрируем, что модель Veo 3 способна решать широкий спектр задач, для которых она не была явно обучена: сегментировать объекты, обнаруживать границы, редактировать изображения, понимать физические свойства, распознавать функциональные возможности объектов, моделировать использование инструментов и многое другое. Эти способности воспринимать, моделировать и манипулировать визуальным миром позволяют решать ранние формы визуальных задач, такие как прохождение лабиринтов или определение симметрии. Возникающие zero-shot способности Veo указывают на то, что модели для видео находятся на пути к становлению универсальными базовыми моделями для обработки визуальной информации.
English
The remarkable zero-shot capabilities of Large Language Models (LLMs) have
propelled natural language processing from task-specific models to unified,
generalist foundation models. This transformation emerged from simple
primitives: large, generative models trained on web-scale data. Curiously, the
same primitives apply to today's generative video models. Could video models be
on a trajectory towards general-purpose vision understanding, much like LLMs
developed general-purpose language understanding? We demonstrate that Veo 3 can
solve a broad variety of tasks it wasn't explicitly trained for: segmenting
objects, detecting edges, editing images, understanding physical properties,
recognizing object affordances, simulating tool use, and more. These abilities
to perceive, model, and manipulate the visual world enable early forms of
visual reasoning like maze and symmetry solving. Veo's emergent zero-shot
capabilities indicate that video models are on a path to becoming unified,
generalist vision foundation models.