ВидеоМир: Исследование Обучения Знаний на Неотмеченных Видео

VideoWorld: Exploring Knowledge Learning from Unlabeled Videos

January 16, 2025

Авторы: Zhongwei Ren, Yunchao Wei, Xun Guo, Yao Zhao, Bingyi Kang, Jiashi Feng, Xiaojie Jin

cs.AI

Аннотация

Эта работа исследует, может ли глубокая генеративная модель учиться сложным знаниям исключительно на основе визуального ввода, в отличие от распространенного уклонения к моделям, основанным на тексте, таким как большие языковые модели (LLM). Мы разрабатываем VideoWorld, авторегрессионную модель генерации видео, обученную на неразмеченных видеоданных, и проверяем ее способности к усвоению знаний в задачах на основе видео в игре Go и управлении роботами. Наши эксперименты выявляют два ключевых вывода: (1) обучение только на видео предоставляет достаточную информацию для усвоения знаний, включая правила, рассуждения и планировочные способности, и (2) представление визуальных изменений критично для усвоения знаний. Для улучшения эффективности этого процесса мы представляем модель латентной динамики (LDM) в качестве ключевого компонента VideoWorld. Замечательно, VideoWorld достигает профессионального уровня 5 дан в Video-GoBench всего с моделью на 300 миллионов параметров, без использования алгоритмов поиска или механизмов вознаграждения, типичных для обучения с подкреплением. В робототехнических задачах VideoWorld эффективно учится различным операциям управления и обобщает результаты в различных средах, приближаясь к производительности оракульных моделей в CALVIN и RLBench. Это исследование открывает новые пути для усвоения знаний из визуальных данных, предоставляя весь код, данные и модели в открытом доступе для дальнейших исследований.

English

This work explores whether a deep generative model can learn complex knowledge solely from visual input, in contrast to the prevalent focus on text-based models like large language models (LLMs). We develop VideoWorld, an auto-regressive video generation model trained on unlabeled video data, and test its knowledge acquisition abilities in video-based Go and robotic control tasks. Our experiments reveal two key findings: (1) video-only training provides sufficient information for learning knowledge, including rules, reasoning and planning capabilities, and (2) the representation of visual change is crucial for knowledge acquisition. To improve both the efficiency and efficacy of this process, we introduce the Latent Dynamics Model (LDM) as a key component of VideoWorld. Remarkably, VideoWorld reaches a 5-dan professional level in the Video-GoBench with just a 300-million-parameter model, without relying on search algorithms or reward mechanisms typical in reinforcement learning. In robotic tasks, VideoWorld effectively learns diverse control operations and generalizes across environments, approaching the performance of oracle models in CALVIN and RLBench. This study opens new avenues for knowledge acquisition from visual data, with all code, data, and models open-sourced for further research.