Informe Técnico de Control de Movimiento Kling
Kling-MotionControl Technical Report
March 3, 2026
Autores: Kling Team, Jialu Chen, Yikang Ding, Zhixue Fang, Kun Gai, Kang He, Xu He, Jingyun Hua, Mingming Lao, Xiaohan Li, Hui Liu, Jiwen Liu, Xiaoqiang Liu, Fan Shi, Xiaoyu Shi, Peiqin Sun, Songlin Tang, Pengfei Wan, Tiancheng Wen, Zhiyong Wu, Haoxian Zhang, Runze Zhao, Yuanxing Zhang, Yan Zhou
cs.AI
Resumen
La animación de personajes tiene como objetivo generar videos realistas transfiriendo la dinámica del movimiento desde un video conductor a una imagen de referencia. Los recientes avances en modelos generativos han allanado el camino para una animación de personajes de alta fidelidad. En este trabajo, presentamos Kling-MotionControl, un marco unificado basado en DiT diseñado específicamente para una animación de personajes holística robusta, precisa y expresiva. Aprovechando una estrategia de divide y vencerás dentro de un sistema cohesivo, el modelo orquesta representaciones de movimiento heterogéneas adaptadas a las características distintivas del cuerpo, el rostro y las manos, reconciliando efectivamente la estabilidad estructural a gran escala con la expresividad articulatoria de grano fino. Para garantizar una generalización robusta entre identidades, incorporamos un aprendizaje adaptativo independiente de la identidad, facilitando la retargeting natural del movimiento para diversos personajes, desde humanos realistas hasta dibujos animados estilizados. Simultáneamente, garantizamos una preservación fiel de la apariencia mediante diseños meticulosos de inyección y fusión de identidad, respaldados además por un mecanismo de librería de sujetos que aprovecha contextos de referencia integrales. Para asegurar la utilidad práctica, implementamos un marco de aceleración avanzado que utiliza destilación multietapa, aumentando la velocidad de inferencia en más de 10 veces. Kling-MotionControl se distingue por su comprensión semántica inteligente del movimiento y su precisa capacidad de respuesta al texto, permitiendo un control flexible más allá de las entradas visuales. Las evaluaciones de preferencia humana demuestran que Kling-MotionControl ofrece un rendimiento superior en comparación con las principales soluciones comerciales y de código abierto, logrando una fidelidad excepcional en el control holístico del movimiento, la generalización en dominios abiertos, y la calidad visual y la coherencia. Estos resultados establecen a Kling-MotionControl como una solución robusta para una animación de personajes de alta calidad, controlable y realista.
English
Character animation aims to generate lifelike videos by transferring motion dynamics from a driving video to a reference image. Recent strides in generative models have paved the way for high-fidelity character animation. In this work, we present Kling-MotionControl, a unified DiT-based framework engineered specifically for robust, precise, and expressive holistic character animation. Leveraging a divide-and-conquer strategy within a cohesive system, the model orchestrates heterogeneous motion representations tailored to the distinct characteristics of body, face, and hands, effectively reconciling large-scale structural stability with fine-grained articulatory expressiveness. To ensure robust cross-identity generalization, we incorporate adaptive identity-agnostic learning, facilitating natural motion retargeting for diverse characters ranging from realistic humans to stylized cartoons. Simultaneously, we guarantee faithful appearance preservation through meticulous identity injection and fusion designs, further supported by a subject library mechanism that leverages comprehensive reference contexts. To ensure practical utility, we implement an advanced acceleration framework utilizing multi-stage distillation, boosting inference speed by over 10x. Kling-MotionControl distinguishes itself through intelligent semantic motion understanding and precise text responsiveness, allowing for flexible control beyond visual inputs. Human preference evaluations demonstrate that Kling-MotionControl delivers superior performance compared to leading commercial and open-source solutions, achieving exceptional fidelity in holistic motion control, open domain generalization, and visual quality and coherence. These results establish Kling-MotionControl as a robust solution for high-quality, controllable, and lifelike character animation.