SCAIL-2 : Unifier l'animation de personnages contrôlée avec un conditionnement contextuel de bout en bout

Résumé

L'animation de personnages contrôlés nécessite de transférer le mouvement d'une séquence motrice vers un personnage de référence. Les travaux antérieurs reposent fortement sur des représentations intermédiaires, notamment des squelettes de pose pour représenter le mouvement ou des fonds masqués pour représenter l'environnement, ce qui entraîne inévitablement une perte d'information. Pour y remédier, nous présentons SCAIL-2, un framework qui contourne ces intermédiaires et réalise une animation de personnage de bout en bout. En concaténant directement les vidéos motrices à la séquence, le modèle peut obtenir toutes les informations visuelles nécessaires à partir de la vidéo d'entrée. Pour pallier le manque de données de bout en bout, nous unifions les sous-tâches de l'animation de personnage avec des conditions découplées, puis nous élaborons un pipeline pour synthétiser MotionPair-60K, un ensemble de données de transfert de mouvement de bout en bout contenant des tâches hétérogènes d'animation de personnage. Pour réaliser cette unification, nous utilisons un conditionnement par masque en contexte et une RoPE spécifique au mode comme guide logiciel complémentaire aux instructions textuelles et aux informations visuelles brutes. Pour traiter les divergences synthétiques dans les régions détaillées, nous proposons le DPO sensible au biais (Bias-Aware DPO) afin de construire des éléments de préférence et d'atténuer les erreurs. Des expériences approfondies montrent que notre méthode surpasse nettement les approches de pointe existantes dans diverses tâches d'animation de personnage. Un large sous-ensemble de données synthétiques ainsi que les poids du modèle seront mis à disposition sur notre page projet : https://teal024.github.io/SCAIL-2/.

English

Controlled character animation requires transferring motion from a driving sequence to a reference character. Prior works heavily rely on intermediate representations, including pose skeletons to represent motion or masked background to represent environment, which inevitably leads to information loss. To address this, we present SCAIL-2, an framework that bypasses those intermediates and achieves end-to-end character animation. By directly concatenating driving videos to the sequence, the model can obtain all the required visual information from the input video. To address lack of end-to-end data, we unify sub-tasks of character animation with decoupled conditions and then curate a pipeline to synthesize MotionPair-60K, an end-to-end motion transfer dataset containing heterogeneous tasks of character animation. To archive the unification, we utilize in-context mask conditioning and mode-specific RoPE as soft guidance beyond textual instructions and raw visual information. To address synthetic discrepancy in detailed regions, we propose Bias-Aware DPO to construct preference items to mitigate the errors. Extensive experiments demonstrate that our method substantially outperforms existing state-of-the-art approaches in various character animation tasks. A large subset of synthetic data as well as model weights will be released at our project page: https://teal024.github.io/SCAIL-2/.