SCAIL-2: Unificación de la Animación Controlada de Personajes con Condicionamiento en Contexto de Extremo a Extremo

Resumen

La animación controlada de personajes requiere transferir el movimiento de una secuencia conductora a un personaje de referencia. Trabajos previos dependen en gran medida de representaciones intermedias, como esqueletos de pose para representar el movimiento o fondos enmascarados para representar el entorno, lo que inevitablemente conlleva pérdida de información. Para abordar esto, presentamos SCAIL-2, un marco que evita dichos intermediarios y logra una animación de personajes de extremo a extremo. Al concatenar directamente los videos conductores a la secuencia, el modelo puede obtener toda la información visual necesaria a partir del video de entrada. Para solventar la falta de datos de extremo a extremo, unificamos las subtareas de animación de personajes con condiciones desacopladas y luego curamos un pipeline para sintetizar MotionPair-60K, un conjunto de datos de transferencia de movimiento de extremo a extremo que contiene tareas heterogéneas de animación de personajes. Para lograr la unificación, utilizamos condicionamiento de máscara en contexto y RoPE específico de modo como guía suave más allá de las instrucciones textuales y la información visual bruta. Para abordar la discrepancia sintética en regiones detalladas, proponemos DPO consciente del sesgo para construir ítems de preferencia y mitigar los errores. Experimentos exhaustivos demuestran que nuestro método supera significativamente a los enfoques de última generación en diversas tareas de animación de personajes. Un subconjunto grande de datos sintéticos, así como los pesos del modelo, se publicarán en nuestra página del proyecto: https://teal024.github.io/SCAIL-2/.

English

Controlled character animation requires transferring motion from a driving sequence to a reference character. Prior works heavily rely on intermediate representations, including pose skeletons to represent motion or masked background to represent environment, which inevitably leads to information loss. To address this, we present SCAIL-2, an framework that bypasses those intermediates and achieves end-to-end character animation. By directly concatenating driving videos to the sequence, the model can obtain all the required visual information from the input video. To address lack of end-to-end data, we unify sub-tasks of character animation with decoupled conditions and then curate a pipeline to synthesize MotionPair-60K, an end-to-end motion transfer dataset containing heterogeneous tasks of character animation. To archive the unification, we utilize in-context mask conditioning and mode-specific RoPE as soft guidance beyond textual instructions and raw visual information. To address synthetic discrepancy in detailed regions, we propose Bias-Aware DPO to construct preference items to mitigate the errors. Extensive experiments demonstrate that our method substantially outperforms existing state-of-the-art approaches in various character animation tasks. A large subset of synthetic data as well as model weights will be released at our project page: https://teal024.github.io/SCAIL-2/.