Genie: Generatieve Interactieve Omgevingen

Genie: Generative Interactive Environments

February 23, 2024

Auteurs: Jake Bruce, Michael Dennis, Ashley Edwards, Jack Parker-Holder, Yuge Shi, Edward Hughes, Matthew Lai, Aditi Mavalankar, Richie Steigerwald, Chris Apps, Yusuf Aytar, Sarah Bechtle, Feryal Behbahani, Stephanie Chan, Nicolas Heess, Lucy Gonzalez, Simon Osindero, Sherjil Ozair, Scott Reed, Jingwei Zhang, Konrad Zolna, Jeff Clune, Nando de Freitas, Satinder Singh, Tim Rocktäschel

cs.AI

Samenvatting

We introduceren Genie, de eerste generatieve interactieve omgeving die op een niet-gesuperviseerde manier is getraind met ongelabelde internetvideo's. Het model kan worden aangestuurd om een eindeloze variëteit aan actie-bestuurbare virtuele werelden te genereren, beschreven via tekst, synthetische afbeeldingen, foto's en zelfs schetsen. Met 11B parameters kan Genie worden beschouwd als een fundamenteel wereldmodel. Het bestaat uit een spatiotemporele video-tokenizer, een autoregressief dynamisch model en een eenvoudig en schaalbaar latent actiemodel. Genie stelt gebruikers in staat om in de gegenereerde omgevingen te handelen op een frame-voor-frame basis, ondanks de training zonder enige grondwaarheid-actielabels of andere domeinspecifieke vereisten die typisch worden gevonden in de wereldmodelliteratuur. Bovendien faciliteert de resulterende geleerde latente actieruimte het trainen van agents om gedrag na te bootsen uit ongeziene video's, wat de weg opent voor het trainen van generalistische agents in de toekomst.

English

We introduce Genie, the first generative interactive environment trained in an unsupervised manner from unlabelled Internet videos. The model can be prompted to generate an endless variety of action-controllable virtual worlds described through text, synthetic images, photographs, and even sketches. At 11B parameters, Genie can be considered a foundation world model. It is comprised of a spatiotemporal video tokenizer, an autoregressive dynamics model, and a simple and scalable latent action model. Genie enables users to act in the generated environments on a frame-by-frame basis despite training without any ground-truth action labels or other domain-specific requirements typically found in the world model literature. Further the resulting learned latent action space facilitates training agents to imitate behaviors from unseen videos, opening the path for training generalist agents of the future.