Genie: Entornos Interactivos Generativos

Genie: Generative Interactive Environments

February 23, 2024

Autores: Jake Bruce, Michael Dennis, Ashley Edwards, Jack Parker-Holder, Yuge Shi, Edward Hughes, Matthew Lai, Aditi Mavalankar, Richie Steigerwald, Chris Apps, Yusuf Aytar, Sarah Bechtle, Feryal Behbahani, Stephanie Chan, Nicolas Heess, Lucy Gonzalez, Simon Osindero, Sherjil Ozair, Scott Reed, Jingwei Zhang, Konrad Zolna, Jeff Clune, Nando de Freitas, Satinder Singh, Tim Rocktäschel

cs.AI

Resumen

Presentamos Genie, el primer entorno interactivo generativo entrenado de manera no supervisada a partir de videos de Internet sin etiquetar. El modelo puede ser guiado para generar una variedad infinita de mundos virtuales controlables mediante acciones, descritos a través de texto, imágenes sintéticas, fotografías e incluso bocetos. Con 11 mil millones de parámetros, Genie puede considerarse un modelo base de mundos. Está compuesto por un tokenizador de videos espaciotemporales, un modelo dinámico autoregresivo y un modelo de acciones latentes simple y escalable. Genie permite a los usuarios interactuar en los entornos generados fotograma a fotograma, a pesar de haber sido entrenado sin etiquetas de acciones de referencia ni otros requisitos específicos de dominio típicamente presentes en la literatura sobre modelos de mundos. Además, el espacio de acciones latentes aprendido facilita el entrenamiento de agentes para imitar comportamientos a partir de videos no vistos, abriendo el camino para el entrenamiento de agentes generalistas del futuro.

English

We introduce Genie, the first generative interactive environment trained in an unsupervised manner from unlabelled Internet videos. The model can be prompted to generate an endless variety of action-controllable virtual worlds described through text, synthetic images, photographs, and even sketches. At 11B parameters, Genie can be considered a foundation world model. It is comprised of a spatiotemporal video tokenizer, an autoregressive dynamics model, and a simple and scalable latent action model. Genie enables users to act in the generated environments on a frame-by-frame basis despite training without any ground-truth action labels or other domain-specific requirements typically found in the world model literature. Further the resulting learned latent action space facilitates training agents to imitate behaviors from unseen videos, opening the path for training generalist agents of the future.