Ilimitado: Um Jogo Generativo Infinito de Simulação de Vida de Personagens

Unbounded: A Generative Infinite Game of Character Life Simulation

October 24, 2024

Autores: Jialu Li, Yuanzhen Li, Neal Wadhwa, Yael Pritch, David E. Jacobs, Michael Rubinstein, Mohit Bansal, Nataniel Ruiz

cs.AI

Resumo

Apresentamos o conceito de um jogo infinito generativo, um videogame que transcende as fronteiras tradicionais de sistemas finitos e codificados rigidamente, utilizando modelos generativos. Inspirados pela distinção de James P. Carse entre jogos finitos e infinitos, aproveitamos os avanços recentes em IA generativa para criar Unbounded: um jogo de simulação de vida de personagem totalmente encapsulado em modelos generativos. Especificamente, Unbounded se inspira em simulações de vida sandbox e permite que você interaja com seu personagem virtual autônomo em um mundo virtual alimentando, brincando e orientando-o - com mecânicas de jogo sem fim geradas por um LLM, algumas das quais podem ser emergentes. Para desenvolver Unbounded, propomos inovações técnicas tanto nos domínios de geração de LLM quanto visual. Especificamente, apresentamos: (1) um modelo de linguagem grande (LLM) especializado e destilado que gera dinamicamente mecânicas de jogo, narrativas e interações de personagens em tempo real, e (2) um novo Adaptador de Prompt de Imagem Regional dinâmico (IP-Adapter) para modelos de visão que garante geração visual consistente e flexível de um personagem em vários ambientes. Avaliamos nosso sistema por meio de análises qualitativas e quantitativas, demonstrando melhorias significativas na simulação de vida de personagens, na instrução do usuário, na coerência narrativa e na consistência visual tanto para personagens quanto para os ambientes, em comparação com abordagens relacionadas tradicionais.

English

We introduce the concept of a generative infinite game, a video game that transcends the traditional boundaries of finite, hard-coded systems by using generative models. Inspired by James P. Carse's distinction between finite and infinite games, we leverage recent advances in generative AI to create Unbounded: a game of character life simulation that is fully encapsulated in generative models. Specifically, Unbounded draws inspiration from sandbox life simulations and allows you to interact with your autonomous virtual character in a virtual world by feeding, playing with and guiding it - with open-ended mechanics generated by an LLM, some of which can be emergent. In order to develop Unbounded, we propose technical innovations in both the LLM and visual generation domains. Specifically, we present: (1) a specialized, distilled large language model (LLM) that dynamically generates game mechanics, narratives, and character interactions in real-time, and (2) a new dynamic regional image prompt Adapter (IP-Adapter) for vision models that ensures consistent yet flexible visual generation of a character across multiple environments. We evaluate our system through both qualitative and quantitative analysis, showing significant improvements in character life simulation, user instruction following, narrative coherence, and visual consistency for both characters and the environments compared to traditional related approaches.