Genie: Generative Interaktive Umgebungen
Genie: Generative Interactive Environments
February 23, 2024
Autoren: Jake Bruce, Michael Dennis, Ashley Edwards, Jack Parker-Holder, Yuge Shi, Edward Hughes, Matthew Lai, Aditi Mavalankar, Richie Steigerwald, Chris Apps, Yusuf Aytar, Sarah Bechtle, Feryal Behbahani, Stephanie Chan, Nicolas Heess, Lucy Gonzalez, Simon Osindero, Sherjil Ozair, Scott Reed, Jingwei Zhang, Konrad Zolna, Jeff Clune, Nando de Freitas, Satinder Singh, Tim Rocktäschel
cs.AI
Zusammenfassung
Wir stellen Genie vor, die erste generative interaktive Umgebung, die in einem unüberwachten Verfahren aus unmarkierten Internetvideos trainiert wurde. Das Modell kann dazu aufgefordert werden, eine endlose Vielfalt von handlungssteuerbaren virtuellen Welten zu erzeugen, die durch Text, synthetische Bilder, Fotografien und sogar Skizzen beschrieben werden. Mit 11 Milliarden Parametern kann Genie als ein grundlegendes Weltmodell betrachtet werden. Es besteht aus einem raumzeitlichen Video-Tokenizer, einem autoregressiven Dynamikmodell und einem einfachen und skalierbaren latenten Aktionsmodell. Genie ermöglicht es Benutzern, in den generierten Umgebungen auf Einzelbildbasis zu agieren, obwohl das Training ohne jegliche Ground-Truth-Aktionslabels oder andere domänenspezifische Anforderungen erfolgt, die typischerweise in der Weltmodell-Literatur zu finden sind. Darüber hinaus erleichtert der daraus resultierende gelernte latente Aktionsraum das Training von Agenten, um Verhaltensweisen aus unbekannten Videos nachzuahmen, was den Weg für die Ausbildung zukünftiger Generalisten-Agenten ebnet.
English
We introduce Genie, the first generative interactive environment trained in
an unsupervised manner from unlabelled Internet videos. The model can be
prompted to generate an endless variety of action-controllable virtual worlds
described through text, synthetic images, photographs, and even sketches. At
11B parameters, Genie can be considered a foundation world model. It is
comprised of a spatiotemporal video tokenizer, an autoregressive dynamics
model, and a simple and scalable latent action model. Genie enables users to
act in the generated environments on a frame-by-frame basis despite training
without any ground-truth action labels or other domain-specific requirements
typically found in the world model literature. Further the resulting learned
latent action space facilitates training agents to imitate behaviors from
unseen videos, opening the path for training generalist agents of the future.