AnimeGamer: Oneindige Anime Levenssimulatie met Voorspelling van Volgende Spelstatus

AnimeGamer: Infinite Anime Life Simulation with Next Game State Prediction

April 1, 2025

Auteurs: Junhao Cheng, Yuying Ge, Yixiao Ge, Jing Liao, Ying Shan

cs.AI

Samenvatting

Recente vooruitgang in beeld- en videosynthese heeft nieuwe mogelijkheden geopend in generatieve spellen. Een bijzonder intrigerende toepassing is het transformeren van personages uit animefilms in interactieve, speelbare entiteiten. Hierdoor kunnen spelers zich onderdompelen in de dynamische animewereld als hun favoriete personages voor levenssimulatie via taalcommando's. Dergelijke spellen worden gedefinieerd als oneindige spellen omdat ze vooraf bepaalde grenzen en vaste spelregels elimineren, waarbij spelers kunnen interacteren met de spelwereld via open-einde taal en steeds evoluerende verhaallijnen en omgevingen kunnen ervaren. Recentelijk heeft een baanbrekende aanpak voor oneindige animelevenssimulatie gebruik gemaakt van grote taalmodelen (LLMs) om meerzijdige tekstdialogen om te zetten in taalcommando's voor beeldgeneratie. Dit negeert echter de historische visuele context, wat leidt tot inconsistente gameplay. Bovendien genereert het alleen statische beelden, waardoor de dynamiek die nodig is voor een boeiende spelervaring ontbreekt. In dit werk stellen we AnimeGamer voor, dat is gebouwd op Multimodale Grote Taalmodelen (MLLMs) om elke spelstatus te genereren, inclusief dynamische animatieshots die personagebewegingen en updates aan personagestatus weergeven, zoals geïllustreerd in Figuur 1. We introduceren nieuwe actiebewuste multimodale representaties om animatieshots weer te geven, die kunnen worden gedecodeerd in hoogwaardige videoclips met behulp van een videodiffusiemodel. Door historische animatieshotrepresentaties als context te nemen en daaropvolgende representaties te voorspellen, kan AnimeGamer spellen genereren met contextuele consistentie en bevredigende dynamiek. Uitgebreide evaluaties met zowel geautomatiseerde metrieken als menselijke evaluaties tonen aan dat AnimeGamer bestaande methoden overtreft in verschillende aspecten van de spelervaring. Codes en checkpoints zijn beschikbaar op https://github.com/TencentARC/AnimeGamer.

English

Recent advancements in image and video synthesis have opened up new promise in generative games. One particularly intriguing application is transforming characters from anime films into interactive, playable entities. This allows players to immerse themselves in the dynamic anime world as their favorite characters for life simulation through language instructions. Such games are defined as infinite game since they eliminate predetermined boundaries and fixed gameplay rules, where players can interact with the game world through open-ended language and experience ever-evolving storylines and environments. Recently, a pioneering approach for infinite anime life simulation employs large language models (LLMs) to translate multi-turn text dialogues into language instructions for image generation. However, it neglects historical visual context, leading to inconsistent gameplay. Furthermore, it only generates static images, failing to incorporate the dynamics necessary for an engaging gaming experience. In this work, we propose AnimeGamer, which is built upon Multimodal Large Language Models (MLLMs) to generate each game state, including dynamic animation shots that depict character movements and updates to character states, as illustrated in Figure 1. We introduce novel action-aware multimodal representations to represent animation shots, which can be decoded into high-quality video clips using a video diffusion model. By taking historical animation shot representations as context and predicting subsequent representations, AnimeGamer can generate games with contextual consistency and satisfactory dynamics. Extensive evaluations using both automated metrics and human evaluations demonstrate that AnimeGamer outperforms existing methods in various aspects of the gaming experience. Codes and checkpoints are available at https://github.com/TencentARC/AnimeGamer.