DreamActor-M2 : Animation universelle d'images de personnages par apprentissage en contexte spatiotemporel

DreamActor-M2: Universal Character Image Animation via Spatiotemporal In-Context Learning

January 29, 2026

papers.authors: Mingshuang Luo, Shuang Liang, Zhengkun Rong, Yuxuan Luo, Tianshu Hu, Ruibing Hou, Hong Chang, Yong Li, Yuan Zhang, Mingyuan Gao

cs.AI

papers.abstract

L'animation d'image de personnage vise à synthétiser des vidéos de haute fidélité en transférant le mouvement d'une séquence motrice vers une image de référence statique. Malgré les progrès récents, les méthodes existantes souffrent de deux défis fondamentaux : (1) des stratégies d'injection de mouvement sous-optimales qui créent un compromis entre la préservation de l'identité et la cohérence du mouvement, se manifestant comme un "effet de balançoire", et (2) une dépendance excessive à des prérequis de pose explicites (par exemple, des squelettes), qui capturent inadéquatement la dynamique complexe et entravent la généralisation à des caractères arbitraires non humanoïdes. Pour relever ces défis, nous présentons DreamActor-M2, un cadre d'animation universel qui réinvente le conditionnement du mouvement comme un problème d'apprentissage en contexte. Notre approche suit un paradigme en deux étages. Premièrement, nous comblons l'écart de modalité d'entrée en fusionnant l'apparence de référence et les indices de mouvement dans un espace latent unifié, permettant au modèle de raisonner conjointement sur l'identité spatiale et la dynamique temporelle en exploitant l'a priori génératif des modèles fondateurs. Deuxièmement, nous introduisons un pipeline de synthèse de données auto-amorcé qui sélectionne des paires d'entraînement pseudo inter-identités, facilitant une transition fluide du contrôle dépendant de la pose vers une animation RGB directe de bout en bout. Cette stratégie améliore significativement la généralisation à divers personnages et scénarios de mouvement. Pour faciliter une évaluation complète, nous introduisons en outre AW Bench, un benchmark polyvalent couvrant un large spectre de types de personnages et de scénarios de mouvement. Des expériences approfondies démontrent que DreamActor-M2 atteint des performances à l'état de l'art, offrant une fidélité visuelle supérieure et une robuste généralisation inter-domaines. Page du projet : https://grisoon.github.io/DreamActor-M2/

English

Character image animation aims to synthesize high-fidelity videos by transferring motion from a driving sequence to a static reference image. Despite recent advancements, existing methods suffer from two fundamental challenges: (1) suboptimal motion injection strategies that lead to a trade-off between identity preservation and motion consistency, manifesting as a "see-saw", and (2) an over-reliance on explicit pose priors (e.g., skeletons), which inadequately capture intricate dynamics and hinder generalization to arbitrary, non-humanoid characters. To address these challenges, we present DreamActor-M2, a universal animation framework that reimagines motion conditioning as an in-context learning problem. Our approach follows a two-stage paradigm. First, we bridge the input modality gap by fusing reference appearance and motion cues into a unified latent space, enabling the model to jointly reason about spatial identity and temporal dynamics by leveraging the generative prior of foundational models. Second, we introduce a self-bootstrapped data synthesis pipeline that curates pseudo cross-identity training pairs, facilitating a seamless transition from pose-dependent control to direct, end-to-end RGB-driven animation. This strategy significantly enhances generalization across diverse characters and motion scenarios. To facilitate comprehensive evaluation, we further introduce AW Bench, a versatile benchmark encompassing a wide spectrum of characters types and motion scenarios. Extensive experiments demonstrate that DreamActor-M2 achieves state-of-the-art performance, delivering superior visual fidelity and robust cross-domain generalization. Project Page: https://grisoon.github.io/DreamActor-M2/