DreamActor-M2: Universelle Charakterbildanimation durch räumlich-zeitliches In-Context-Lernen

DreamActor-M2: Universal Character Image Animation via Spatiotemporal In-Context Learning

January 29, 2026

papers.authors: Mingshuang Luo, Shuang Liang, Zhengkun Rong, Yuxuan Luo, Tianshu Hu, Ruibing Hou, Hong Chang, Yong Li, Yuan Zhang, Mingyuan Gao

cs.AI

papers.abstract

Charakterbildanimation zielt darauf ab, hochwertige Videos zu synthetisieren, indem Bewegungen aus einer Treibersequenz auf ein statisches Referenzbild übertragen werden. Trotz jüngster Fortschritte leiden bestehende Methoden unter zwei grundlegenden Herausforderungen: (1) suboptimale Bewegungsinjektionsstrategien, die zu einem Kompromiss zwischen Identitätserhaltung und Bewegungskonsistenz führen (sich als "Wippeffekt" manifestieren), und (2) eine zu starke Abhängigkeit von expliziten Poseprioritäten (z.B. Skeletten), die komplexe Dynamiken unzureichend erfassen und die Generalisierung auf beliebige, nicht-humanoide Charaktere behindern. Um diese Herausforderungen zu bewältigen, stellen wir DreamActor-M2 vor, ein universelles Animationsframework, das Bewegungskonditionierung als ein In-Context-Learning-Problem neu konzipiert. Unser Ansatz folgt einem Zwei-Stufen-Paradigma. Zunächst überbrücken wir die Eingabemodalitätslücke, indem wir Referenzerscheinungsbilder und Bewegungshinweise in einen einheitlichen latenten Raum fusionieren. Dies ermöglicht dem Modell, unter Ausnutzung der generativen Prioritäten von Fundamentalmodellen, gemeinsam über räumliche Identität und zeitliche Dynamik zu schlussfolgern. Zweitens führen wir eine selbstverstärkende Datensynthese-Pipeline ein, die pseudo-übergreifende Identitätstrainingspaare kuratiert und so einen nahtlosen Übergang von posenabhängiger Steuerung zu direkter, end-to-end RGB-gesteuerter Animation ermöglicht. Diese Strategie verbessert die Generalisierung über verschiedene Charaktere und Bewegungsszenarien hinweg erheblich. Um eine umfassende Evaluation zu ermöglichen, führen wir außerdem den AW Bench ein, einen vielseitigen Benchmark, der ein breites Spektrum an Charaktertypen und Bewegungsszenarien abdeckt. Umfangreiche Experimente belegen, dass DreamActor-M2 state-of-the-art Leistung erzielt, überlegene visuelle Qualität liefert und eine robuste domänenübergreifende Generalisierung ermöglicht. Projektseite: https://grisoon.github.io/DreamActor-M2/

English

Character image animation aims to synthesize high-fidelity videos by transferring motion from a driving sequence to a static reference image. Despite recent advancements, existing methods suffer from two fundamental challenges: (1) suboptimal motion injection strategies that lead to a trade-off between identity preservation and motion consistency, manifesting as a "see-saw", and (2) an over-reliance on explicit pose priors (e.g., skeletons), which inadequately capture intricate dynamics and hinder generalization to arbitrary, non-humanoid characters. To address these challenges, we present DreamActor-M2, a universal animation framework that reimagines motion conditioning as an in-context learning problem. Our approach follows a two-stage paradigm. First, we bridge the input modality gap by fusing reference appearance and motion cues into a unified latent space, enabling the model to jointly reason about spatial identity and temporal dynamics by leveraging the generative prior of foundational models. Second, we introduce a self-bootstrapped data synthesis pipeline that curates pseudo cross-identity training pairs, facilitating a seamless transition from pose-dependent control to direct, end-to-end RGB-driven animation. This strategy significantly enhances generalization across diverse characters and motion scenarios. To facilitate comprehensive evaluation, we further introduce AW Bench, a versatile benchmark encompassing a wide spectrum of characters types and motion scenarios. Extensive experiments demonstrate that DreamActor-M2 achieves state-of-the-art performance, delivering superior visual fidelity and robust cross-domain generalization. Project Page: https://grisoon.github.io/DreamActor-M2/