Vídeo como a Nova Linguagem para Tomada de Decisão no Mundo Real

Resumo

Tanto os dados textuais quanto os de vídeo são abundantes na internet e suportam o aprendizado autossupervisionado em larga escala por meio da previsão do próximo token ou quadro. No entanto, eles não foram igualmente aproveitados: os modelos de linguagem tiveram um impacto significativo no mundo real, enquanto a geração de vídeo permaneceu amplamente limitada ao entretenimento midiático. Ainda assim, os dados de vídeo capturam informações importantes sobre o mundo físico que são difíceis de expressar em linguagem. Para abordar essa lacuna, discutimos uma oportunidade subestimada de estender a geração de vídeo para resolver tarefas no mundo real. Observamos como, semelhante à linguagem, o vídeo pode servir como uma interface unificada que pode absorver o conhecimento da internet e representar tarefas diversas. Além disso, demonstramos como, assim como os modelos de linguagem, a geração de vídeo pode servir como planejadores, agentes, motores de computação e simuladores de ambiente por meio de técnicas como aprendizado em contexto, planejamento e aprendizado por reforço. Identificamos oportunidades de impacto significativo em domínios como robótica, direção autônoma e ciência, apoiadas por trabalhos recentes que demonstram como tais capacidades avançadas em geração de vídeo estão plausivelmente ao alcance. Por fim, identificamos os principais desafios na geração de vídeo que mitigam o progresso. Abordar esses desafios permitirá que os modelos de geração de vídeo demonstrem valor único ao lado dos modelos de linguagem em uma gama mais ampla de aplicações de IA.

English

Both text and video data are abundant on the internet and support large-scale self-supervised learning through next token or frame prediction. However, they have not been equally leveraged: language models have had significant real-world impact, whereas video generation has remained largely limited to media entertainment. Yet video data captures important information about the physical world that is difficult to express in language. To address this gap, we discuss an under-appreciated opportunity to extend video generation to solve tasks in the real world. We observe how, akin to language, video can serve as a unified interface that can absorb internet knowledge and represent diverse tasks. Moreover, we demonstrate how, like language models, video generation can serve as planners, agents, compute engines, and environment simulators through techniques such as in-context learning, planning and reinforcement learning. We identify major impact opportunities in domains such as robotics, self-driving, and science, supported by recent work that demonstrates how such advanced capabilities in video generation are plausibly within reach. Lastly, we identify key challenges in video generation that mitigate progress. Addressing these challenges will enable video generation models to demonstrate unique value alongside language models in a wider array of AI applications.

Vídeo como a Nova Linguagem para Tomada de Decisão no Mundo Real

Video as the New Language for Real-World Decision Making

Resumo

Support