El video como nuevo lenguaje para la toma de decisiones en el mundo real

Video as the New Language for Real-World Decision Making

February 27, 2024

Autores: Sherry Yang, Jacob Walker, Jack Parker-Holder, Yilun Du, Jake Bruce, Andre Barreto, Pieter Abbeel, Dale Schuurmans

cs.AI

Resumen

Tanto los datos de texto como de video son abundantes en internet y permiten el aprendizaje autosupervisado a gran escala mediante la predicción del siguiente token o fotograma. Sin embargo, no se han aprovechado por igual: los modelos de lenguaje han tenido un impacto significativo en el mundo real, mientras que la generación de video se ha limitado principalmente al entretenimiento mediático. No obstante, los datos de video capturan información importante sobre el mundo físico que es difícil de expresar en lenguaje. Para abordar esta brecha, discutimos una oportunidad poco apreciada de extender la generación de video para resolver tareas en el mundo real. Observamos cómo, al igual que el lenguaje, el video puede servir como una interfaz unificada que puede absorber el conocimiento de internet y representar diversas tareas. Además, demostramos cómo, al igual que los modelos de lenguaje, la generación de video puede servir como planificadores, agentes, motores de cálculo y simuladores de entornos mediante técnicas como el aprendizaje en contexto, la planificación y el aprendizaje por refuerzo. Identificamos oportunidades de impacto significativo en dominios como la robótica, la conducción autónoma y la ciencia, respaldadas por trabajos recientes que demuestran que tales capacidades avanzadas en la generación de video están plausiblemente al alcance. Por último, identificamos desafíos clave en la generación de video que limitan el progreso. Abordar estos desafíos permitirá que los modelos de generación de video demuestren un valor único junto a los modelos de lenguaje en una gama más amplia de aplicaciones de IA.

English

Both text and video data are abundant on the internet and support large-scale self-supervised learning through next token or frame prediction. However, they have not been equally leveraged: language models have had significant real-world impact, whereas video generation has remained largely limited to media entertainment. Yet video data captures important information about the physical world that is difficult to express in language. To address this gap, we discuss an under-appreciated opportunity to extend video generation to solve tasks in the real world. We observe how, akin to language, video can serve as a unified interface that can absorb internet knowledge and represent diverse tasks. Moreover, we demonstrate how, like language models, video generation can serve as planners, agents, compute engines, and environment simulators through techniques such as in-context learning, planning and reinforcement learning. We identify major impact opportunities in domains such as robotics, self-driving, and science, supported by recent work that demonstrates how such advanced capabilities in video generation are plausibly within reach. Lastly, we identify key challenges in video generation that mitigate progress. Addressing these challenges will enable video generation models to demonstrate unique value alongside language models in a wider array of AI applications.