非境界: キャラクター生活シミュレーションの生成的無限ゲーム

Unbounded: A Generative Infinite Game of Character Life Simulation

October 24, 2024

著者: Jialu Li, Yuanzhen Li, Neal Wadhwa, Yael Pritch, David E. Jacobs, Michael Rubinstein, Mohit Bansal, Nataniel Ruiz

cs.AI

要旨

我々は、有限でハードコードされたシステムの伝統的な境界を超える、生成モデルを使用したビデオゲームである生成的無限ゲームの概念を紹介します。James P. Carseの有限と無限のゲームの区別に触発され、生成的AIの最近の進歩を活用して、完全に生成モデルに包含されたキャラクターライフシミュレーションゲームであるUnboundedを作成します。具体的には、Unboundedはサンドボックス型ライフシミュレーションからインスピレーションを受け、LLMによって生成されるオープンエンドのメカニクスにより、仮想世界で自律的な仮想キャラクターとやり取りし、養ったり遊んだり、導いたりすることができます。Unboundedの開発のために、LLMと視覚生成の両分野で技術革新を提案します。具体的には、(1)リアルタイムでゲームメカニクス、物語、およびキャラクターの相互作用を動的に生成する専門化された蒸留された大規模言語モデル（LLM）、および(2)複数の環境でのキャラクターの一貫したかつ柔軟な視覚生成を確保する新しい動的地域画像プロンプトアダプター（IP-アダプター）を提示します。我々は、定性的および定量的な分析を通じてシステムを評価し、従来の関連手法と比較して、キャラクターライフシミュレーション、ユーザーの指示に従った行動、物語の一貫性、およびキャラクターや環境の視覚的一貫性において、著しい改善を示しています。

English

We introduce the concept of a generative infinite game, a video game that transcends the traditional boundaries of finite, hard-coded systems by using generative models. Inspired by James P. Carse's distinction between finite and infinite games, we leverage recent advances in generative AI to create Unbounded: a game of character life simulation that is fully encapsulated in generative models. Specifically, Unbounded draws inspiration from sandbox life simulations and allows you to interact with your autonomous virtual character in a virtual world by feeding, playing with and guiding it - with open-ended mechanics generated by an LLM, some of which can be emergent. In order to develop Unbounded, we propose technical innovations in both the LLM and visual generation domains. Specifically, we present: (1) a specialized, distilled large language model (LLM) that dynamically generates game mechanics, narratives, and character interactions in real-time, and (2) a new dynamic regional image prompt Adapter (IP-Adapter) for vision models that ensures consistent yet flexible visual generation of a character across multiple environments. We evaluate our system through both qualitative and quantitative analysis, showing significant improvements in character life simulation, user instruction following, narrative coherence, and visual consistency for both characters and the environments compared to traditional related approaches.