Relatório Técnico Kling-MotionControl
Kling-MotionControl Technical Report
March 3, 2026
Autores: Kling Team, Jialu Chen, Yikang Ding, Zhixue Fang, Kun Gai, Kang He, Xu He, Jingyun Hua, Mingming Lao, Xiaohan Li, Hui Liu, Jiwen Liu, Xiaoqiang Liu, Fan Shi, Xiaoyu Shi, Peiqin Sun, Songlin Tang, Pengfei Wan, Tiancheng Wen, Zhiyong Wu, Haoxian Zhang, Runze Zhao, Yuanxing Zhang, Yan Zhou
cs.AI
Resumo
A animação de personagens visa gerar vídeos realistas transferindo a dinâmica do movimento de um vídeo de condução para uma imagem de referência. Avanços recentes em modelos generativos abriram caminho para animação de personagens de alta fidelidade. Neste trabalho, apresentamos o Kling-MotionControl, uma estrutura unificada baseada em DiT, projetada especificamente para animação holística de personagens robusta, precisa e expressiva. Aproveitando uma estratégia de dividir e conquistar dentro de um sistema coeso, o modelo orquestra representações de movimento heterogêneas adaptadas às características distintas do corpo, rosto e mãos, reconciliando efetivamente a estabilidade estrutural em larga escala com a expressividade articulatória de granularidade fina. Para garantir uma generalização robusta entre identidades, incorporamos um aprendizado adaptativo agnóstico à identidade, facilitando a retargeting natural de movimento para diversos personagens, desde humanos realistas até desenhos animados estilizados. Simultaneamente, garantimos uma preservação fiel da aparência através de projetos meticulosos de injeção e fusão de identidade, apoiados ainda por um mecanismo de biblioteca de sujeitos que aproveita contextos de referência abrangentes. Para garantir utilidade prática, implementamos uma estrutura avançada de aceleração utilizando destilação multiestágio, aumentando a velocidade de inferência em mais de 10x. O Kling-MotionControl distingue-se pela compreensão inteligente do movimento semântico e pela resposta precisa ao texto, permitindo um controle flexível para além dos inputs visuais. Avaliações de preferência humana demonstram que o Kling-MotionControl oferece um desempenho superior em comparação com as principais soluções comerciais e de código aberto, alcançando uma fidelidade excecional no controlo holístico do movimento, generalização em domínio aberto, e qualidade visual e coerência. Estes resultados estabelecem o Kling-MotionControl como uma solução robusta para animação de personagens de alta qualidade, controlável e realista.
English
Character animation aims to generate lifelike videos by transferring motion dynamics from a driving video to a reference image. Recent strides in generative models have paved the way for high-fidelity character animation. In this work, we present Kling-MotionControl, a unified DiT-based framework engineered specifically for robust, precise, and expressive holistic character animation. Leveraging a divide-and-conquer strategy within a cohesive system, the model orchestrates heterogeneous motion representations tailored to the distinct characteristics of body, face, and hands, effectively reconciling large-scale structural stability with fine-grained articulatory expressiveness. To ensure robust cross-identity generalization, we incorporate adaptive identity-agnostic learning, facilitating natural motion retargeting for diverse characters ranging from realistic humans to stylized cartoons. Simultaneously, we guarantee faithful appearance preservation through meticulous identity injection and fusion designs, further supported by a subject library mechanism that leverages comprehensive reference contexts. To ensure practical utility, we implement an advanced acceleration framework utilizing multi-stage distillation, boosting inference speed by over 10x. Kling-MotionControl distinguishes itself through intelligent semantic motion understanding and precise text responsiveness, allowing for flexible control beyond visual inputs. Human preference evaluations demonstrate that Kling-MotionControl delivers superior performance compared to leading commercial and open-source solutions, achieving exceptional fidelity in holistic motion control, open domain generalization, and visual quality and coherence. These results establish Kling-MotionControl as a robust solution for high-quality, controllable, and lifelike character animation.