VideoWorld : Exploration de l'apprentissage des connaissances à partir de vidéos non étiquetées

VideoWorld: Exploring Knowledge Learning from Unlabeled Videos

January 16, 2025

Auteurs: Zhongwei Ren, Yunchao Wei, Xun Guo, Yao Zhao, Bingyi Kang, Jiashi Feng, Xiaojie Jin

cs.AI

Résumé

Ce travail explore si un modèle génératif profond peut apprendre des connaissances complexes uniquement à partir d'entrées visuelles, contrairement à l'accent prédominant sur les modèles basés sur du texte tels que les grands modèles de langage (GML). Nous développons VideoWorld, un modèle de génération vidéo auto-régressif entraîné sur des données vidéo non étiquetées, et testons ses capacités d'acquisition de connaissances dans des tâches de Go basées sur la vidéo et de contrôle robotique. Nos expériences révèlent deux résultats clés : (1) l'entraînement uniquement sur des vidéos fournit des informations suffisantes pour apprendre des connaissances, y compris des règles, des capacités de raisonnement et de planification, et (2) la représentation du changement visuel est cruciale pour l'acquisition de connaissances. Pour améliorer à la fois l'efficacité et l'efficacité de ce processus, nous introduisons le Modèle de Dynamique Latente (MDL) en tant que composant clé de VideoWorld. Remarquablement, VideoWorld atteint un niveau professionnel de 5-dan dans le Video-GoBench avec seulement un modèle de 300 millions de paramètres, sans recourir à des algorithmes de recherche ou à des mécanismes de récompense typiques dans l'apprentissage par renforcement. Dans les tâches robotiques, VideoWorld apprend efficacement diverses opérations de contrôle et généralise à travers les environnements, approchant les performances des modèles oracle dans CALVIN et RLBench. Cette étude ouvre de nouvelles voies pour l'acquisition de connaissances à partir de données visuelles, avec tout le code, les données et les modèles disponibles en open source pour de futures recherches.

English

This work explores whether a deep generative model can learn complex knowledge solely from visual input, in contrast to the prevalent focus on text-based models like large language models (LLMs). We develop VideoWorld, an auto-regressive video generation model trained on unlabeled video data, and test its knowledge acquisition abilities in video-based Go and robotic control tasks. Our experiments reveal two key findings: (1) video-only training provides sufficient information for learning knowledge, including rules, reasoning and planning capabilities, and (2) the representation of visual change is crucial for knowledge acquisition. To improve both the efficiency and efficacy of this process, we introduce the Latent Dynamics Model (LDM) as a key component of VideoWorld. Remarkably, VideoWorld reaches a 5-dan professional level in the Video-GoBench with just a 300-million-parameter model, without relying on search algorithms or reward mechanisms typical in reinforcement learning. In robotic tasks, VideoWorld effectively learns diverse control operations and generalizes across environments, approaching the performance of oracle models in CALVIN and RLBench. This study opens new avenues for knowledge acquisition from visual data, with all code, data, and models open-sourced for further research.