Genie: Генеративные Интерактивные Среды
Genie: Generative Interactive Environments
February 23, 2024
Авторы: Jake Bruce, Michael Dennis, Ashley Edwards, Jack Parker-Holder, Yuge Shi, Edward Hughes, Matthew Lai, Aditi Mavalankar, Richie Steigerwald, Chris Apps, Yusuf Aytar, Sarah Bechtle, Feryal Behbahani, Stephanie Chan, Nicolas Heess, Lucy Gonzalez, Simon Osindero, Sherjil Ozair, Scott Reed, Jingwei Zhang, Konrad Zolna, Jeff Clune, Nando de Freitas, Satinder Singh, Tim Rocktäschel
cs.AI
Аннотация
Мы представляем Genie — первую генеративную интерактивную среду, обученную без учителя на основе немаркированных интернет-видео. Модель может создавать бесконечное разнообразие виртуальных миров, управляемых действиями и описываемых через текст, синтетические изображения, фотографии и даже наброски. С 11 миллиардами параметров Genie можно считать фундаментальной моделью мира. Она состоит из пространственно-временного токенизатора видео, авторегрессивной модели динамики и простой, масштабируемой модели латентных действий. Genie позволяет пользователям взаимодействовать с генерируемыми средами на уровне отдельных кадров, несмотря на обучение без использования истинных меток действий или других доменно-специфических требований, типичных для литературы по моделям мира. Более того, полученное латентное пространство действий облегчает обучение агентов имитировать поведение из ранее невиданных видео, открывая путь для обучения универсальных агентов будущего.
English
We introduce Genie, the first generative interactive environment trained in
an unsupervised manner from unlabelled Internet videos. The model can be
prompted to generate an endless variety of action-controllable virtual worlds
described through text, synthetic images, photographs, and even sketches. At
11B parameters, Genie can be considered a foundation world model. It is
comprised of a spatiotemporal video tokenizer, an autoregressive dynamics
model, and a simple and scalable latent action model. Genie enables users to
act in the generated environments on a frame-by-frame basis despite training
without any ground-truth action labels or other domain-specific requirements
typically found in the world model literature. Further the resulting learned
latent action space facilitates training agents to imitate behaviors from
unseen videos, opening the path for training generalist agents of the future.