Технический отчет Kling-MotionControl

Kling-MotionControl Technical Report

March 3, 2026

Авторы: Kling Team, Jialu Chen, Yikang Ding, Zhixue Fang, Kun Gai, Kang He, Xu He, Jingyun Hua, Mingming Lao, Xiaohan Li, Hui Liu, Jiwen Liu, Xiaoqiang Liu, Fan Shi, Xiaoyu Shi, Peiqin Sun, Songlin Tang, Pengfei Wan, Tiancheng Wen, Zhiyong Wu, Haoxian Zhang, Runze Zhao, Yuanxing Zhang, Yan Zhou

cs.AI

Аннотация

Анимация персонажей ставит целью создание реалистичных видеороликов путем переноса динамики движений из исходного видео на эталонное изображение. Последние достижения в области генеративных моделей открыли путь к созданию высококачественной анимации персонажей. В данной работе мы представляем Kling-MotionControl — унифицированную систему на основе архитектуры DiT, специально разработанную для надежной, точной и выразительной целостной анимации персонажей. Используя стратегию «разделяй и властвуй» в рамках единой системы, модель управляет гетерогенными представлениями движений, адаптированными к особенностям тела, лица и рук, эффективно совмещая крупномасштабную структурную стабильность с мелкозернистой артикуляционной выразительностью. Для обеспечения надежной межобъектной обобщающей способности мы применяем адаптивное обучение, не зависящее от идентичности, что способствует естественному переназначению движений для различных персонажей — от реалистичных людей до стилизованных мультфильмов. Одновременно мы гарантируем точное сохранение внешнего вида за счет тщательно продуманных механизмов инъекции и слияния идентичности, дополнительно поддерживаемых механизмом библиотеки субъектов, использующим расширенные референсные контексты. Для обеспечения практической полезности мы реализуем усовершенствованную систему ускорения с использованием многоступенчатой дистилляции, повышающую скорость вывода более чем в 10 раз. Kling-MotionControl выделяется за счет интеллектуального семантического понимания движений и точной реакции на текстовые запросы, обеспечивая гибкое управление, выходящее за рамки визуальных входных данных. Оценки по методу человеческих предпочтений демонстрируют, что Kling-MotionControl превосходит ведущие коммерческие и открытые решения, достигая исключительной точности в целостном управлении движением, обобщении на открытые домены, а также в визуальном качестве и согласованности. Эти результаты утверждают Kling-MotionControl в качестве надежного решения для создания высококачественной, управляемой и реалистичной анимации персонажей.

English

Character animation aims to generate lifelike videos by transferring motion dynamics from a driving video to a reference image. Recent strides in generative models have paved the way for high-fidelity character animation. In this work, we present Kling-MotionControl, a unified DiT-based framework engineered specifically for robust, precise, and expressive holistic character animation. Leveraging a divide-and-conquer strategy within a cohesive system, the model orchestrates heterogeneous motion representations tailored to the distinct characteristics of body, face, and hands, effectively reconciling large-scale structural stability with fine-grained articulatory expressiveness. To ensure robust cross-identity generalization, we incorporate adaptive identity-agnostic learning, facilitating natural motion retargeting for diverse characters ranging from realistic humans to stylized cartoons. Simultaneously, we guarantee faithful appearance preservation through meticulous identity injection and fusion designs, further supported by a subject library mechanism that leverages comprehensive reference contexts. To ensure practical utility, we implement an advanced acceleration framework utilizing multi-stage distillation, boosting inference speed by over 10x. Kling-MotionControl distinguishes itself through intelligent semantic motion understanding and precise text responsiveness, allowing for flexible control beyond visual inputs. Human preference evaluations demonstrate that Kling-MotionControl delivers superior performance compared to leading commercial and open-source solutions, achieving exceptional fidelity in holistic motion control, open domain generalization, and visual quality and coherence. These results establish Kling-MotionControl as a robust solution for high-quality, controllable, and lifelike character animation.