Genie: Ambientes Interativos Generativos

Genie: Generative Interactive Environments

February 23, 2024

Autores: Jake Bruce, Michael Dennis, Ashley Edwards, Jack Parker-Holder, Yuge Shi, Edward Hughes, Matthew Lai, Aditi Mavalankar, Richie Steigerwald, Chris Apps, Yusuf Aytar, Sarah Bechtle, Feryal Behbahani, Stephanie Chan, Nicolas Heess, Lucy Gonzalez, Simon Osindero, Sherjil Ozair, Scott Reed, Jingwei Zhang, Konrad Zolna, Jeff Clune, Nando de Freitas, Satinder Singh, Tim Rocktäschel

cs.AI

Resumo

Apresentamos o Genie, o primeiro ambiente interativo generativo treinado de maneira não supervisionada a partir de vídeos da Internet sem rótulos. O modelo pode ser instruído a gerar uma variedade infinita de mundos virtuais controláveis por ações, descritos por meio de texto, imagens sintéticas, fotografias e até esboços. Com 11 bilhões de parâmetros, o Genie pode ser considerado um modelo fundamental de mundo. Ele é composto por um tokenizador de vídeo espaço-temporal, um modelo de dinâmica autorregressiva e um modelo de ação latente simples e escalável. O Genie permite que os usuários ajam nos ambientes gerados quadro a quadro, apesar de ter sido treinado sem rótulos de ação verdadeiros ou outros requisitos específicos de domínio tipicamente encontrados na literatura de modelos de mundo. Além disso, o espaço de ação latente aprendido facilita o treinamento de agentes para imitar comportamentos a partir de vídeos nunca vistos, abrindo caminho para o treinamento de agentes generalistas do futuro.

English

We introduce Genie, the first generative interactive environment trained in an unsupervised manner from unlabelled Internet videos. The model can be prompted to generate an endless variety of action-controllable virtual worlds described through text, synthetic images, photographs, and even sketches. At 11B parameters, Genie can be considered a foundation world model. It is comprised of a spatiotemporal video tokenizer, an autoregressive dynamics model, and a simple and scalable latent action model. Genie enables users to act in the generated environments on a frame-by-frame basis despite training without any ground-truth action labels or other domain-specific requirements typically found in the world model literature. Further the resulting learned latent action space facilitates training agents to imitate behaviors from unseen videos, opening the path for training generalist agents of the future.