DreamActor-M2: Animación Universal de Imágenes de Personajes mediante Aprendizaje In-Contexto Espaciotemporal
DreamActor-M2: Universal Character Image Animation via Spatiotemporal In-Context Learning
January 29, 2026
Autores: Mingshuang Luo, Shuang Liang, Zhengkun Rong, Yuxuan Luo, Tianshu Hu, Ruibing Hou, Hong Chang, Yong Li, Yuan Zhang, Mingyuan Gao
cs.AI
Resumen
La animación de imágenes de personajes busca sintetizar vídeos de alta fidelidad transfiriendo el movimiento de una secuencia motriz a una imagen de referencia estática. A pesar de los avances recientes, los métodos existentes adolecen de dos desafíos fundamentales: (1) estrategias subóptimas de inyección de movimiento que conducen a una disyuntiva entre la preservación de la identidad y la coherencia del movimiento, manifestándose como un "subibaja", y (2) una excesiva dependencia de priores de pose explícitos (por ejemplo, esqueletos), que capturan de manera inadecuada las dinámicas intrincadas y dificultan la generalización a personajes arbitrarios no humanoides. Para abordar estos desafíos, presentamos DreamActor-M2, un marco de animación universal que replantea el condicionamiento del movimiento como un problema de aprendizaje en contexto. Nuestro enfoque sigue un paradigma de dos etapas. Primero, cerramos la brecha de modalidad de entrada fusionando la apariencia de referencia y las señales de movimiento en un espacio latente unificado, permitiendo que el modelo razone conjuntamente sobre la identidad espacial y la dinámica temporal aprovechando el prior generativo de los modelos fundacionales. En segundo lugar, introducimos un pipeline de síntesis de datos auto-inicializado que cura pares de entrenamiento pseudo cruzados de identidad, facilitando una transición fluida desde el control dependiente de la pose hacia una animación RGB directa de extremo a extremo. Esta estrategia mejora significativamente la generalización a través de diversos personajes y escenarios de movimiento. Para facilitar una evaluación integral, presentamos además AW Bench, un benchmark versátil que abarca un amplio espectro de tipos de personajes y escenarios de movimiento. Experimentos exhaustivos demuestran que DreamActor-M2 alcanza un rendimiento state-of-the-art, ofreciendo una fidelidad visual superior y una robusta generalización cross-domain. Página del proyecto: https://grisoon.github.io/DreamActor-M2/
English
Character image animation aims to synthesize high-fidelity videos by transferring motion from a driving sequence to a static reference image. Despite recent advancements, existing methods suffer from two fundamental challenges: (1) suboptimal motion injection strategies that lead to a trade-off between identity preservation and motion consistency, manifesting as a "see-saw", and (2) an over-reliance on explicit pose priors (e.g., skeletons), which inadequately capture intricate dynamics and hinder generalization to arbitrary, non-humanoid characters. To address these challenges, we present DreamActor-M2, a universal animation framework that reimagines motion conditioning as an in-context learning problem. Our approach follows a two-stage paradigm. First, we bridge the input modality gap by fusing reference appearance and motion cues into a unified latent space, enabling the model to jointly reason about spatial identity and temporal dynamics by leveraging the generative prior of foundational models. Second, we introduce a self-bootstrapped data synthesis pipeline that curates pseudo cross-identity training pairs, facilitating a seamless transition from pose-dependent control to direct, end-to-end RGB-driven animation. This strategy significantly enhances generalization across diverse characters and motion scenarios. To facilitate comprehensive evaluation, we further introduce AW Bench, a versatile benchmark encompassing a wide spectrum of characters types and motion scenarios. Extensive experiments demonstrate that DreamActor-M2 achieves state-of-the-art performance, delivering superior visual fidelity and robust cross-domain generalization. Project Page: https://grisoon.github.io/DreamActor-M2/