SCAIL-2: Unificando Animação de Personagem Controlada com Condicionamento Contextual de Ponta a Ponta

Resumo

Animação de personagem controlada requer a transferência de movimento de uma sequência condutora para um personagem de referência. Trabalhos anteriores dependem fortemente de representações intermediárias, incluindo esqueletos de pose para representar movimento ou fundo mascarado para representar o ambiente, o que inevitavelmente leva à perda de informação. Para abordar isso, apresentamos o SCAIL-2, uma estrutura que contorna esses intermediários e alcança animação de personagem fim a fim. Ao concatenar diretamente vídeos condutores à sequência, o modelo pode obter toda a informação visual necessária do vídeo de entrada. Para lidar com a falta de dados fim a fim, unificamos sub-tarefas de animação de personagem com condições desacopladas e, em seguida, curamos um pipeline para sintetizar o MotionPair-60K, um conjunto de dados de transferência de movimento fim a fim contendo tarefas heterogêneas de animação de personagem. Para arquivar a unificação, utilizamos condicionamento de máscara no contexto e RoPE específico de modo como orientação suave além de instruções textuais e informação visual bruta. Para lidar com a discrepância sintética em regiões detalhadas, propomos o Bias-Aware DPO para construir itens de preferência e mitigar os erros. Experimentos extensos demonstram que nosso método supera substancialmente as abordagens de ponta existentes em várias tarefas de animação de personagem. Um grande subconjunto dos dados sintéticos, bem como os pesos do modelo, serão disponibilizados em nossa página do projeto: https://teal024.github.io/SCAIL-2/.

English

Controlled character animation requires transferring motion from a driving sequence to a reference character. Prior works heavily rely on intermediate representations, including pose skeletons to represent motion or masked background to represent environment, which inevitably leads to information loss. To address this, we present SCAIL-2, an framework that bypasses those intermediates and achieves end-to-end character animation. By directly concatenating driving videos to the sequence, the model can obtain all the required visual information from the input video. To address lack of end-to-end data, we unify sub-tasks of character animation with decoupled conditions and then curate a pipeline to synthesize MotionPair-60K, an end-to-end motion transfer dataset containing heterogeneous tasks of character animation. To archive the unification, we utilize in-context mask conditioning and mode-specific RoPE as soft guidance beyond textual instructions and raw visual information. To address synthetic discrepancy in detailed regions, we propose Bias-Aware DPO to construct preference items to mitigate the errors. Extensive experiments demonstrate that our method substantially outperforms existing state-of-the-art approaches in various character animation tasks. A large subset of synthetic data as well as model weights will be released at our project page: https://teal024.github.io/SCAIL-2/.