Технический отчет Kling-Omni
Kling-Omni Technical Report
December 18, 2025
Авторы: Kling Team, Jialu Chen, Yuanzheng Ci, Xiangyu Du, Zipeng Feng, Kun Gai, Sainan Guo, Feng Han, Jingbin He, Kang He, Xiao Hu, Xiaohua Hu, Boyuan Jiang, Fangyuan Kong, Hang Li, Jie Li, Qingyu Li, Shen Li, Xiaohan Li, Yan Li, Jiajun Liang, Borui Liao, Yiqiao Liao, Weihong Lin, Quande Liu, Xiaokun Liu, Yilun Liu, Yuliang Liu, Shun Lu, Hangyu Mao, Yunyao Mao, Haodong Ouyang, Wenyu Qin, Wanqi Shi, Xiaoyu Shi, Lianghao Su, Haozhi Sun, Peiqin Sun, Pengfei Wan, Chao Wang, Chenyu Wang, Meng Wang, Qiulin Wang, Runqi Wang, Xintao Wang, Xuebo Wang, Zekun Wang, Min Wei, Tiancheng Wen, Guohao Wu, Xiaoshi Wu, Zhenhua Wu, Da Xie, Yingtong Xiong, Yulong Xu, Sile Yang, Zikang Yang, Weicai Ye, Ziyang Yuan, Shenglong Zhang, Shuaiyu Zhang, Yuanxing Zhang, Yufan Zhang, Wenzheng Zhao, Ruiliang Zhou, Yan Zhou, Guosheng Zhu, Yongjie Zhu
cs.AI
Аннотация
Мы представляем Kling-Omni — универсальную генеративную систему, предназначенную для синтеза видео высокого качества непосредственно из мультимодальных визуально-языковых входных данных. Принимая сквозной подход, Kling-Omni устраняет функциональный разрыв между разнородными задачами генерации, редактирования и интеллектуального анализа видео, интегрируя их в целостную систему. В отличие от разрозненных конвейерных подходов, Kling-Omni поддерживает широкий спектр пользовательских входных данных, включая текстовые инструкции, эталонные изображения и видеоконтексты, преобразуя их в унифицированное мультимодальное представление для создания кинематографичного и высокоинтеллектуального видеоконтента. Для обеспечения этих возможностей мы создали комплексную систему данных, которая служит основой для мультимодального создания видео. Эффективность системы дополнительно повышена за счёт стратегий масштабного предварительного обучения и оптимизации инфраструктуры для вывода. Всесторонние оценки показывают, что Kling-Omni демонстрирует исключительные способности в контекстно-зависимой генерации, редактировании на основе логического вывода и выполнении мультимодальных инструкций. Выходя за рамки инструмента для создания контента, мы считаем, что Kling-Omni является ключевым шагом на пути к созданию мультимодальных симуляторов мира, способных воспринимать, анализировать, генерировать и взаимодействовать с динамичными и сложными мирами.
English
We present Kling-Omni, a generalist generative framework designed to synthesize high-fidelity videos directly from multimodal visual language inputs. Adopting an end-to-end perspective, Kling-Omni bridges the functional separation among diverse video generation, editing, and intelligent reasoning tasks, integrating them into a holistic system. Unlike disjointed pipeline approaches, Kling-Omni supports a diverse range of user inputs, including text instructions, reference images, and video contexts, processing them into a unified multimodal representation to deliver cinematic-quality and highly-intelligent video content creation. To support these capabilities, we constructed a comprehensive data system that serves as the foundation for multimodal video creation. The framework is further empowered by efficient large-scale pre-training strategies and infrastructure optimizations for inference. Comprehensive evaluations reveal that Kling-Omni demonstrates exceptional capabilities in in-context generation, reasoning-based editing, and multimodal instruction following. Moving beyond a content creation tool, we believe Kling-Omni is a pivotal advancement toward multimodal world simulators capable of perceiving, reasoning, generating and interacting with the dynamic and complex worlds.