Genie : Environnements Interactifs Génériques
Genie: Generative Interactive Environments
February 23, 2024
Auteurs: Jake Bruce, Michael Dennis, Ashley Edwards, Jack Parker-Holder, Yuge Shi, Edward Hughes, Matthew Lai, Aditi Mavalankar, Richie Steigerwald, Chris Apps, Yusuf Aytar, Sarah Bechtle, Feryal Behbahani, Stephanie Chan, Nicolas Heess, Lucy Gonzalez, Simon Osindero, Sherjil Ozair, Scott Reed, Jingwei Zhang, Konrad Zolna, Jeff Clune, Nando de Freitas, Satinder Singh, Tim Rocktäschel
cs.AI
Résumé
Nous présentons Genie, le premier environnement interactif génératif entraîné de manière non supervisée à partir de vidéos Internet non annotées. Le modèle peut être incité à générer une variété infinie de mondes virtuels contrôlables par des actions, décrits via du texte, des images synthétiques, des photographies, et même des esquisses. Avec 11 milliards de paramètres, Genie peut être considéré comme un modèle de monde fondateur. Il est composé d'un tokenizer vidéo spatiotemporel, d'un modèle de dynamique autoregressif, et d'un modèle d'action latente simple et évolutif. Genie permet aux utilisateurs d'interagir dans les environnements générés image par image, malgré un entraînement sans aucune étiquette d'action de référence ou autres exigences spécifiques au domaine typiquement présentes dans la littérature sur les modèles de monde. De plus, l'espace d'action latente appris facilite l'entraînement d'agents pour imiter des comportements à partir de vidéos inédites, ouvrant la voie à l'entraînement d'agents généralistes du futur.
English
We introduce Genie, the first generative interactive environment trained in
an unsupervised manner from unlabelled Internet videos. The model can be
prompted to generate an endless variety of action-controllable virtual worlds
described through text, synthetic images, photographs, and even sketches. At
11B parameters, Genie can be considered a foundation world model. It is
comprised of a spatiotemporal video tokenizer, an autoregressive dynamics
model, and a simple and scalable latent action model. Genie enables users to
act in the generated environments on a frame-by-frame basis despite training
without any ground-truth action labels or other domain-specific requirements
typically found in the world model literature. Further the resulting learned
latent action space facilitates training agents to imitate behaviors from
unseen videos, opening the path for training generalist agents of the future.