AnimeGamer: Simulación Infinita de Vida Anime con Predicción del Siguiente Estado del Juego

AnimeGamer: Infinite Anime Life Simulation with Next Game State Prediction

April 1, 2025

Autores: Junhao Cheng, Yuying Ge, Yixiao Ge, Jing Liao, Ying Shan

cs.AI

Resumen

Los recientes avances en la síntesis de imágenes y videos han abierto nuevas posibilidades en los juegos generativos. Una aplicación particularmente intrigante es la transformación de personajes de películas de anime en entidades interactivas y jugables. Esto permite a los jugadores sumergirse en el dinámico mundo del anime como sus personajes favoritos para la simulación de vida a través de instrucciones de lenguaje. Tales juegos se definen como juegos infinitos, ya que eliminan los límites predeterminados y las reglas de juego fijas, donde los jugadores pueden interactuar con el mundo del juego a través de lenguaje abierto y experimentar historias y entornos en constante evolución. Recientemente, un enfoque pionero para la simulación de vida infinita en anime emplea modelos de lenguaje grandes (LLMs) para traducir diálogos de texto de múltiples turnos en instrucciones de lenguaje para la generación de imágenes. Sin embargo, este enfoque ignora el contexto visual histórico, lo que lleva a una inconsistencia en el juego. Además, solo genera imágenes estáticas, sin incorporar la dinámica necesaria para una experiencia de juego atractiva. En este trabajo, proponemos AnimeGamer, que se basa en Modelos de Lenguaje Multimodales Grandes (MLLMs) para generar cada estado del juego, incluyendo tomas de animación dinámica que representan los movimientos de los personajes y actualizaciones de sus estados, como se ilustra en la Figura 1. Introducimos representaciones multimodales novedosas conscientes de la acción para representar las tomas de animación, que pueden decodificarse en clips de video de alta calidad utilizando un modelo de difusión de video. Al tomar las representaciones históricas de las tomas de animación como contexto y predecir las representaciones subsiguientes, AnimeGamer puede generar juegos con consistencia contextual y dinámicas satisfactorias. Evaluaciones extensas utilizando tanto métricas automatizadas como evaluaciones humanas demuestran que AnimeGamer supera a los métodos existentes en varios aspectos de la experiencia de juego. Los códigos y puntos de control están disponibles en https://github.com/TencentARC/AnimeGamer.

English

Recent advancements in image and video synthesis have opened up new promise in generative games. One particularly intriguing application is transforming characters from anime films into interactive, playable entities. This allows players to immerse themselves in the dynamic anime world as their favorite characters for life simulation through language instructions. Such games are defined as infinite game since they eliminate predetermined boundaries and fixed gameplay rules, where players can interact with the game world through open-ended language and experience ever-evolving storylines and environments. Recently, a pioneering approach for infinite anime life simulation employs large language models (LLMs) to translate multi-turn text dialogues into language instructions for image generation. However, it neglects historical visual context, leading to inconsistent gameplay. Furthermore, it only generates static images, failing to incorporate the dynamics necessary for an engaging gaming experience. In this work, we propose AnimeGamer, which is built upon Multimodal Large Language Models (MLLMs) to generate each game state, including dynamic animation shots that depict character movements and updates to character states, as illustrated in Figure 1. We introduce novel action-aware multimodal representations to represent animation shots, which can be decoded into high-quality video clips using a video diffusion model. By taking historical animation shot representations as context and predicting subsequent representations, AnimeGamer can generate games with contextual consistency and satisfactory dynamics. Extensive evaluations using both automated metrics and human evaluations demonstrate that AnimeGamer outperforms existing methods in various aspects of the gaming experience. Codes and checkpoints are available at https://github.com/TencentARC/AnimeGamer.