Sin límites: Un juego generativo infinito de simulación de vida de personajes.

Unbounded: A Generative Infinite Game of Character Life Simulation

October 24, 2024

Autores: Jialu Li, Yuanzhen Li, Neal Wadhwa, Yael Pritch, David E. Jacobs, Michael Rubinstein, Mohit Bansal, Nataniel Ruiz

cs.AI

Resumen

Introducimos el concepto de un juego generativo infinito, un videojuego que trasciende los límites tradicionales de los sistemas finitos y codificados mediante el uso de modelos generativos. Inspirados por la distinción de James P. Carse entre juegos finitos e infinitos, aprovechamos los avances recientes en IA generativa para crear Unbounded: un juego de simulación de vida de personajes que está completamente encapsulado en modelos generativos. Específicamente, Unbounded se inspira en simulaciones de vida sandbox y te permite interactuar con tu personaje virtual autónomo en un mundo virtual alimentándolo, jugando con él y guiándolo, con mecánicas de juego de final abierto generadas por un LLM, algunas de las cuales pueden ser emergentes. Para desarrollar Unbounded, proponemos innovaciones técnicas tanto en el dominio de LLM como en la generación visual. Específicamente, presentamos: (1) un modelo de lenguaje grande (LLM) especializado y destilado que genera dinámicamente mecánicas de juego, narrativas e interacciones de personajes en tiempo real, y (2) un nuevo Adaptador de indicaciones de imagen regional dinámico (IP-Adapter) para modelos de visión que garantiza una generación visual consistente pero flexible de un personaje en múltiples entornos. Evaluamos nuestro sistema a través de análisis cualitativos y cuantitativos, mostrando mejoras significativas en la simulación de vida de personajes, seguimiento de instrucciones de usuario, coherencia narrativa y consistencia visual tanto para personajes como para los entornos en comparación con enfoques relacionados tradicionales.

English

We introduce the concept of a generative infinite game, a video game that transcends the traditional boundaries of finite, hard-coded systems by using generative models. Inspired by James P. Carse's distinction between finite and infinite games, we leverage recent advances in generative AI to create Unbounded: a game of character life simulation that is fully encapsulated in generative models. Specifically, Unbounded draws inspiration from sandbox life simulations and allows you to interact with your autonomous virtual character in a virtual world by feeding, playing with and guiding it - with open-ended mechanics generated by an LLM, some of which can be emergent. In order to develop Unbounded, we propose technical innovations in both the LLM and visual generation domains. Specifically, we present: (1) a specialized, distilled large language model (LLM) that dynamically generates game mechanics, narratives, and character interactions in real-time, and (2) a new dynamic regional image prompt Adapter (IP-Adapter) for vision models that ensures consistent yet flexible visual generation of a character across multiple environments. We evaluate our system through both qualitative and quantitative analysis, showing significant improvements in character life simulation, user instruction following, narrative coherence, and visual consistency for both characters and the environments compared to traditional related approaches.