AnimeGamer: Unendliche Anime-Lebenssimulation mit Vorhersage des nächsten Spielzustands

AnimeGamer: Infinite Anime Life Simulation with Next Game State Prediction

April 1, 2025

Autoren: Junhao Cheng, Yuying Ge, Yixiao Ge, Jing Liao, Ying Shan

cs.AI

Zusammenfassung

Jüngste Fortschritte in der Bild- und Videosynthese haben neue Möglichkeiten in generativen Spielen eröffnet. Eine besonders faszinierende Anwendung ist die Transformation von Charakteren aus Anime-Filmen in interaktive, spielbare Entitäten. Dies ermöglicht es Spielern, sich in die dynamische Anime-Welt als ihre Lieblingscharaktere zu vertiefen und Lebenssimulationen durch Sprachbefehle zu erleben. Solche Spiele werden als unendliche Spiele definiert, da sie vorgegebene Grenzen und feste Spielregeln eliminieren, wodurch Spieler durch offene Sprache mit der Spielwelt interagieren und sich ständig weiterentwickelnde Handlungsstränge und Umgebungen erleben können. Kürzlich wurde ein bahnbrechender Ansatz für unendliche Anime-Lebenssimulationen vorgestellt, der große Sprachmodelle (LLMs) verwendet, um mehrstufige Textdialoge in Sprachbefehle für die Bildgenerierung zu übersetzen. Dieser Ansatz vernachlässigt jedoch den historischen visuellen Kontext, was zu inkonsistentem Spielverhalten führt. Darüber hinaus werden nur statische Bilder generiert, wodurch die Dynamik, die für ein fesselndes Spielerlebnis notwendig ist, fehlt. In dieser Arbeit schlagen wir AnimeGamer vor, das auf Multimodalen Großen Sprachmodellen (MLLMs) basiert, um jeden Spielzustand zu generieren, einschließlich dynamischer Animationssequenzen, die Charakterbewegungen und Aktualisierungen des Charakterzustands darstellen, wie in Abbildung 1 dargestellt. Wir führen neuartige aktionsbewusste multimodale Repräsentationen ein, um Animationssequenzen darzustellen, die mit einem Video-Diffusionsmodell in hochwertige Videoclips decodiert werden können. Indem AnimeGamer historische Animationssequenz-Repräsentationen als Kontext verwendet und nachfolgende Repräsentationen vorhersagt, kann es Spiele mit kontextueller Konsistenz und zufriedenstellender Dynamik generieren. Umfangreiche Bewertungen sowohl mit automatisierten Metriken als auch mit menschlichen Bewertungen zeigen, dass AnimeGamer bestehende Methoden in verschiedenen Aspekten des Spielerlebnisses übertrifft. Codes und Checkpoints sind unter https://github.com/TencentARC/AnimeGamer verfügbar.

English

Recent advancements in image and video synthesis have opened up new promise in generative games. One particularly intriguing application is transforming characters from anime films into interactive, playable entities. This allows players to immerse themselves in the dynamic anime world as their favorite characters for life simulation through language instructions. Such games are defined as infinite game since they eliminate predetermined boundaries and fixed gameplay rules, where players can interact with the game world through open-ended language and experience ever-evolving storylines and environments. Recently, a pioneering approach for infinite anime life simulation employs large language models (LLMs) to translate multi-turn text dialogues into language instructions for image generation. However, it neglects historical visual context, leading to inconsistent gameplay. Furthermore, it only generates static images, failing to incorporate the dynamics necessary for an engaging gaming experience. In this work, we propose AnimeGamer, which is built upon Multimodal Large Language Models (MLLMs) to generate each game state, including dynamic animation shots that depict character movements and updates to character states, as illustrated in Figure 1. We introduce novel action-aware multimodal representations to represent animation shots, which can be decoded into high-quality video clips using a video diffusion model. By taking historical animation shot representations as context and predicting subsequent representations, AnimeGamer can generate games with contextual consistency and satisfactory dynamics. Extensive evaluations using both automated metrics and human evaluations demonstrate that AnimeGamer outperforms existing methods in various aspects of the gaming experience. Codes and checkpoints are available at https://github.com/TencentARC/AnimeGamer.