Неограниченный: Генеративная бесконечная игра моделирования жизни персонажей

Unbounded: A Generative Infinite Game of Character Life Simulation

October 24, 2024

Авторы: Jialu Li, Yuanzhen Li, Neal Wadhwa, Yael Pritch, David E. Jacobs, Michael Rubinstein, Mohit Bansal, Nataniel Ruiz

cs.AI

Аннотация

Мы представляем концепцию генеративной бесконечной игры, видеоигры, которая превосходит традиционные границы конечных, жестко закодированных систем, используя генеративные модели. Вдохновленные различием Джеймса П. Карса между конечными и бесконечными играми, мы используем недавние достижения в области генеративного искусственного интеллекта для создания Unbounded: игры симуляции жизни персонажа, полностью охваченной генеративными моделями. В частности, Unbounded черпает вдохновение из симуляций жизни в песочнице и позволяет вам взаимодействовать с вашим автономным виртуальным персонажем в виртуальном мире, кормя, играя и направляя его - с использованием механик без конкретного завершения, созданных LLM, некоторые из которых могут возникнуть самостоятельно. Для разработки Unbounded мы предлагаем технические инновации как в области LLM, так и в области визуальной генерации. Конкретно, мы представляем: (1) специализированную, упрощенную большую языковую модель (LLM), которая динамически генерирует игровые механики, повествования и взаимодействия персонажей в реальном времени, и (2) новый динамический региональный адаптер изображений (IP-Adapter) для моделей зрения, который обеспечивает последовательную, но гибкую визуальную генерацию персонажа в различных средах. Мы оцениваем нашу систему как качественно, так и количественно, показывая значительные улучшения в симуляции жизни персонажа, следовании инструкциям пользователя, согласованности повествования и визуальной согласованности как для персонажей, так и для окружающих сред по сравнению с традиционными подходами.

English

We introduce the concept of a generative infinite game, a video game that transcends the traditional boundaries of finite, hard-coded systems by using generative models. Inspired by James P. Carse's distinction between finite and infinite games, we leverage recent advances in generative AI to create Unbounded: a game of character life simulation that is fully encapsulated in generative models. Specifically, Unbounded draws inspiration from sandbox life simulations and allows you to interact with your autonomous virtual character in a virtual world by feeding, playing with and guiding it - with open-ended mechanics generated by an LLM, some of which can be emergent. In order to develop Unbounded, we propose technical innovations in both the LLM and visual generation domains. Specifically, we present: (1) a specialized, distilled large language model (LLM) that dynamically generates game mechanics, narratives, and character interactions in real-time, and (2) a new dynamic regional image prompt Adapter (IP-Adapter) for vision models that ensures consistent yet flexible visual generation of a character across multiple environments. We evaluate our system through both qualitative and quantitative analysis, showing significant improvements in character life simulation, user instruction following, narrative coherence, and visual consistency for both characters and the environments compared to traditional related approaches.