DreamActor-M2: Animação Universal de Imagens de Personagem via Aprendizado Espaço-Temporal em Contexto
DreamActor-M2: Universal Character Image Animation via Spatiotemporal In-Context Learning
January 29, 2026
Autores: Mingshuang Luo, Shuang Liang, Zhengkun Rong, Yuxuan Luo, Tianshu Hu, Ruibing Hou, Hong Chang, Yong Li, Yuan Zhang, Mingyuan Gao
cs.AI
Resumo
A animação de imagens de personagens visa sintetizar vídeos de alta fidelidade transferindo o movimento de uma sequência motora para uma imagem de referência estática. Apesar dos avanços recentes, os métodos existentes sofrem com dois desafios fundamentais: (1) estratégias subótimas de injeção de movimento que levam a um compromisso entre a preservação da identidade e a consistência do movimento, manifestando-se como um "sobe-e-desce", e (2) uma excessiva dependência de *priors* de pose explícitos (por exemplo, esqueletos), que capturam inadequadamente dinâmicas complexas e dificultam a generalização para personagens arbitrários e não humanoides. Para enfrentar esses desafios, apresentamos o DreamActor-M2, uma estrutura de animação universal que reconcebe o condicionamento de movimento como um problema de aprendizado em contexto. Nossa abordagem segue um paradigma de dois estágios. Primeiro, superamos a lacuna de modalidade de entrada fundindo a aparência de referência e os indícios de movimento em um espaço latente unificado, permitindo que o modelo raciocine conjuntamente sobre identidade espacial e dinâmica temporal, aproveitando o *prior* generativo de modelos fundamentais. Em segundo lugar, introduzimos um pipeline de síntese de dados auto-inicializado que seleciona pares de treinamento pseudo cruzados de identidade, facilitando uma transição suave do controle dependente de pose para a animação RGB direta e de ponta a ponta. Esta estratégia melhora significativamente a generalização em diversos personagens e cenários de movimento. Para facilitar uma avaliação abrangente, introduzimos ainda o AW Bench, um *benchmark* versátil que abrange um amplo espectro de tipos de personagens e cenários de movimento. Experimentos extensivos demonstram que o DreamActor-M2 atinge um desempenho de ponta, oferecendo fidelidade visual superior e uma generalização robusta entre domínios. Página do Projeto: https://grisoon.github.io/DreamActor-M2/
English
Character image animation aims to synthesize high-fidelity videos by transferring motion from a driving sequence to a static reference image. Despite recent advancements, existing methods suffer from two fundamental challenges: (1) suboptimal motion injection strategies that lead to a trade-off between identity preservation and motion consistency, manifesting as a "see-saw", and (2) an over-reliance on explicit pose priors (e.g., skeletons), which inadequately capture intricate dynamics and hinder generalization to arbitrary, non-humanoid characters. To address these challenges, we present DreamActor-M2, a universal animation framework that reimagines motion conditioning as an in-context learning problem. Our approach follows a two-stage paradigm. First, we bridge the input modality gap by fusing reference appearance and motion cues into a unified latent space, enabling the model to jointly reason about spatial identity and temporal dynamics by leveraging the generative prior of foundational models. Second, we introduce a self-bootstrapped data synthesis pipeline that curates pseudo cross-identity training pairs, facilitating a seamless transition from pose-dependent control to direct, end-to-end RGB-driven animation. This strategy significantly enhances generalization across diverse characters and motion scenarios. To facilitate comprehensive evaluation, we further introduce AW Bench, a versatile benchmark encompassing a wide spectrum of characters types and motion scenarios. Extensive experiments demonstrate that DreamActor-M2 achieves state-of-the-art performance, delivering superior visual fidelity and robust cross-domain generalization. Project Page: https://grisoon.github.io/DreamActor-M2/