Kling-MotionControl Technischer Bericht
Kling-MotionControl Technical Report
March 3, 2026
Autoren: Kling Team, Jialu Chen, Yikang Ding, Zhixue Fang, Kun Gai, Kang He, Xu He, Jingyun Hua, Mingming Lao, Xiaohan Li, Hui Liu, Jiwen Liu, Xiaoqiang Liu, Fan Shi, Xiaoyu Shi, Peiqin Sun, Songlin Tang, Pengfei Wan, Tiancheng Wen, Zhiyong Wu, Haoxian Zhang, Runze Zhao, Yuanxing Zhang, Yan Zhou
cs.AI
Zusammenfassung
Charakteranimation zielt darauf ab, lebensechte Videos zu erzeugen, indem Bewegungdynamik aus einem Antriebsvideo auf ein Referenzbild übertragen wird. Jüngste Fortschritte bei generativen Modellen haben den Weg für hochwertige Charakteranimation geebnet. In dieser Arbeit stellen wir Kling-MotionControl vor, einen vereinheitlichten, auf DiT basierenden Rahmen, der speziell für robuste, präzise und ausdrucksstarke ganzheitliche Charakteranimation entwickelt wurde. Indem das Modell eine Divide-and-Conquer-Strategie innerhalb eines kohäsiven Systems nutzt, orchestriert es heterogene Bewegungsrepräsentationen, die auf die distinkten Eigenschaften von Körper, Gesicht und Händen zugeschnitten sind, und schafft so einen effektiven Ausgleich zwischen großmaßstäblicher struktureller Stabilität und feingranularer artikulatorischer Ausdruckskraft. Um eine robuste generalisierbarkeit über verschiedene Identitäten hinweg zu gewährleisten, integrieren wir adaptives, identitätsagnostisches Lernen, das eine natürliche Bewegungsübertragung für diverse Charaktere – von realistischen Menschen bis hin zu stilisierten Cartoons – ermöglicht. Gleichzeitig gewährleisten wir eine originalgetreue Darstellungserhaltung durch sorgfältig gestaltete Identitätsinjektions- und Fusionsmechanismen, die zusätzlich durch einen Subjektbibliotheksmechanismus unterstützt werden, der umfassende Referenzkontexte nutzt. Um die praktische Anwendbarkeit sicherzustellen, implementieren wir ein fortschrittliches Beschleunigungsframework, das mehrstufige Distillation nutzt und die Inferenzgeschwindigkeit um mehr als das 10-fache steigert. Kling-MotionControl zeichnet sich durch intelligentes semantisches Bewegungsverständnis und präzise Textsteuerung aus, was eine flexible Kontrolle über visuelle Eingaben hinaus ermöglicht. Bewertungen durch menschliche Präferenzen zeigen, dass Kling-MotionControl eine überlegene Leistung im Vergleich zu führenden kommerziellen und Open-Source-Lösungen erbringt und dabei außergewöhnliche Treue in der ganzheitlichen Bewegungssteuerung, Generalisierung in offenen Domänen sowie visueller Qualität und Kohärenz erreicht. Diese Ergebnisse etablieren Kling-MotionControl als eine robuste Lösung für hochwertige, steuerbare und lebensechte Charakteranimation.
English
Character animation aims to generate lifelike videos by transferring motion dynamics from a driving video to a reference image. Recent strides in generative models have paved the way for high-fidelity character animation. In this work, we present Kling-MotionControl, a unified DiT-based framework engineered specifically for robust, precise, and expressive holistic character animation. Leveraging a divide-and-conquer strategy within a cohesive system, the model orchestrates heterogeneous motion representations tailored to the distinct characteristics of body, face, and hands, effectively reconciling large-scale structural stability with fine-grained articulatory expressiveness. To ensure robust cross-identity generalization, we incorporate adaptive identity-agnostic learning, facilitating natural motion retargeting for diverse characters ranging from realistic humans to stylized cartoons. Simultaneously, we guarantee faithful appearance preservation through meticulous identity injection and fusion designs, further supported by a subject library mechanism that leverages comprehensive reference contexts. To ensure practical utility, we implement an advanced acceleration framework utilizing multi-stage distillation, boosting inference speed by over 10x. Kling-MotionControl distinguishes itself through intelligent semantic motion understanding and precise text responsiveness, allowing for flexible control beyond visual inputs. Human preference evaluations demonstrate that Kling-MotionControl delivers superior performance compared to leading commercial and open-source solutions, achieving exceptional fidelity in holistic motion control, open domain generalization, and visual quality and coherence. These results establish Kling-MotionControl as a robust solution for high-quality, controllable, and lifelike character animation.