Genie: Ambienti Interattivi Generativi
Genie: Generative Interactive Environments
February 23, 2024
Autori: Jake Bruce, Michael Dennis, Ashley Edwards, Jack Parker-Holder, Yuge Shi, Edward Hughes, Matthew Lai, Aditi Mavalankar, Richie Steigerwald, Chris Apps, Yusuf Aytar, Sarah Bechtle, Feryal Behbahani, Stephanie Chan, Nicolas Heess, Lucy Gonzalez, Simon Osindero, Sherjil Ozair, Scott Reed, Jingwei Zhang, Konrad Zolna, Jeff Clune, Nando de Freitas, Satinder Singh, Tim Rocktäschel
cs.AI
Abstract
Presentiamo Genie, il primo ambiente interattivo generativo addestrato in modo non supervisionato a partire da video non etichettati provenienti da Internet. Il modello può essere stimolato a generare una varietà infinita di mondi virtuali controllabili tramite azioni, descritti attraverso testo, immagini sintetiche, fotografie e persino schizzi. Con 11 miliardi di parametri, Genie può essere considerato un modello fondazionale per i mondi virtuali. È composto da un tokenizzatore video spaziotemporale, un modello dinamico autoregressivo e un modello di azione latente semplice e scalabile. Genie consente agli utenti di agire negli ambienti generati su base fotogramma per fotogramma, nonostante sia stato addestrato senza etichette di azioni verificate o altri requisiti specifici del dominio tipicamente presenti nella letteratura sui modelli di mondi. Inoltre, lo spazio di azione latente appreso facilita l'addestramento di agenti per imitare comportamenti da video non visti, aprendo la strada alla formazione di agenti generalisti del futuro.
English
We introduce Genie, the first generative interactive environment trained in
an unsupervised manner from unlabelled Internet videos. The model can be
prompted to generate an endless variety of action-controllable virtual worlds
described through text, synthetic images, photographs, and even sketches. At
11B parameters, Genie can be considered a foundation world model. It is
comprised of a spatiotemporal video tokenizer, an autoregressive dynamics
model, and a simple and scalable latent action model. Genie enables users to
act in the generated environments on a frame-by-frame basis despite training
without any ground-truth action labels or other domain-specific requirements
typically found in the world model literature. Further the resulting learned
latent action space facilitates training agents to imitate behaviors from
unseen videos, opening the path for training generalist agents of the future.