Kimi-VL Technischer Bericht

Kimi-VL Technical Report

April 10, 2025

Autoren: Kimi Team, Angang Du, Bohong Yin, Bowei Xing, Bowen Qu, Bowen Wang, Cheng Chen, Chenlin Zhang, Chenzhuang Du, Chu Wei, Congcong Wang, Dehao Zhang, Dikang Du, Dongliang Wang, Enming Yuan, Enzhe Lu, Fang Li, Flood Sung, Guangda Wei, Guokun Lai, Han Zhu, Hao Ding, Hao Hu, Hao Yang, Hao Zhang, Haoning Wu, Haotian Yao, Haoyu Lu, Heng Wang, Hongcheng Gao, Huabin Zheng, Jiaming Li, Jianlin Su, Jianzhou Wang, Jiaqi Deng, Jiezhong Qiu, Jin Xie, Jinhong Wang, Jingyuan Liu, Junjie Yan, Kun Ouyang, Liang Chen, Lin Sui, Longhui Yu, Mengfan Dong, Mengnan Dong, Nuo Xu, Pengyu Cheng, Qizheng Gu, Runjie Zhou, Shaowei Liu, Sihan Cao, Tao Yu, Tianhui Song, Tongtong Bai, Wei Song, Weiran He, Weixiao Huang, Weixin Xu, Xiaokun Yuan, Xingcheng Yao, Xingzhe Wu, Xinxing Zu, Xinyu Zhou, Xinyuan Wang, Y. Charles, Yan Zhong, Yang Li, Yangyang Hu, Yanru Chen, Yejie Wang, Yibo Liu, Yibo Miao, Yidao Qin, Yimin Chen, Yiping Bao, Yiqin Wang, Yongsheng Kang, Yuanxin Liu, Yulun Du, Yuxin Wu, Yuzhi Wang, Yuzi Yan, Zaida Zhou, Zhaowei Li, Zhejun Jiang, Zheng Zhang, Zhilin Yang, Zhiqi Huang, Zihao Huang, Zijia Zhao, Ziwei Chen

cs.AI

Zusammenfassung

Wir präsentieren Kimi-VL, ein effizientes Open-Source-Mixture-of-Experts (MoE)-Vision-Sprache-Modell (VLM), das fortschrittliches multimodales Denken, Langzeitkontextverständnis und starke Agenten-Fähigkeiten bietet – und dabei nur 2,8 Milliarden Parameter in seinem Sprachdecoder aktiviert (Kimi-VL-A3B). Kimi-VL zeigt eine starke Leistung in anspruchsvollen Domänen: Als allgemeines VLM überzeugt es in Multi-Turn-Agenten-Aufgaben (z. B. OSWorld) und hält mit führenden Modellen Schritt. Darüber hinaus weist es bemerkenswerte Fähigkeiten in diversen anspruchsvollen Vision-Sprache-Aufgaben auf, darunter College-Level-Bild- und Videoverständnis, OCR, mathematisches Denken und Multi-Bild-Verständnis. In vergleichenden Bewertungen konkurriert es effektiv mit modernsten effizienten VLMs wie GPT-4o-mini, Qwen2.5-VL-7B und Gemma-3-12B-IT, während es GPT-4o in mehreren Schlüsselbereichen übertrifft. Kimi-VL macht auch Fortschritte bei der Verarbeitung langer Kontexte und der klaren Wahrnehmung. Mit einem erweiterten Kontextfenster von 128K kann Kimi-VL diverse lange Eingaben verarbeiten und erzielt beeindruckende Werte von 64,5 auf LongVideoBench und 35,1 auf MMLongBench-Doc. Sein nativer Auflösungs-Vision-Encoder, MoonViT, ermöglicht es ihm, ultrahochauflösende visuelle Eingaben zu sehen und zu verstehen, und erreicht 83,2 auf InfoVQA und 34,5 auf ScreenSpot-Pro, während es gleichzeitig die Rechenkosten für gängige Aufgaben niedrig hält. Aufbauend auf Kimi-VL führen wir eine fortschrittliche Langzeitdenken-Variante ein: Kimi-VL-Thinking. Dieses Modell, entwickelt durch langen Chain-of-Thought (CoT)-supervised Fine-Tuning (SFT) und Reinforcement Learning (RL), zeigt starke Langzeitdenkfähigkeiten. Es erreicht Werte von 61,7 auf MMMU, 36,8 auf MathVision und 71,3 auf MathVista, während es die kompakten 2,8 Milliarden aktivierten LLM-Parameter beibehält, und setzt damit einen neuen Standard für effiziente multimodale Denkmodelle. Code und Modelle sind öffentlich zugänglich unter https://github.com/MoonshotAI/Kimi-VL.

English

We present Kimi-VL, an efficient open-source Mixture-of-Experts (MoE) vision-language model (VLM) that offers advanced multimodal reasoning, long-context understanding, and strong agent capabilities - all while activating only 2.8B parameters in its language decoder (Kimi-VL-A3B). Kimi-VL demonstrates strong performance across challenging domains: as a general-purpose VLM, Kimi-VL excels in multi-turn agent tasks (e.g., OSWorld), matching flagship models. Furthermore, it exhibits remarkable capabilities across diverse challenging vision language tasks, including college-level image and video comprehension, OCR, mathematical reasoning, and multi-image understanding. In comparative evaluations, it effectively competes with cutting-edge efficient VLMs such as GPT-4o-mini, Qwen2.5-VL-7B, and Gemma-3-12B-IT, while surpassing GPT-4o in several key domains. Kimi-VL also advances in processing long contexts and perceiving clearly. With a 128K extended context window, Kimi-VL can process diverse long inputs, achieving impressive scores of 64.5 on LongVideoBench and 35.1 on MMLongBench-Doc. Its native-resolution vision encoder, MoonViT, further allows it to see and understand ultra-high-resolution visual inputs, achieving 83.2 on InfoVQA and 34.5 on ScreenSpot-Pro, while maintaining lower computational cost for common tasks. Building upon Kimi-VL, we introduce an advanced long-thinking variant: Kimi-VL-Thinking. Developed through long chain-of-thought (CoT) supervised fine-tuning (SFT) and reinforcement learning (RL), this model exhibits strong long-horizon reasoning capabilities. It achieves scores of 61.7 on MMMU, 36.8 on MathVision, and 71.3 on MathVista while maintaining the compact 2.8B activated LLM parameters, setting a new standard for efficient multimodal thinking models. Code and models are publicly accessible at https://github.com/MoonshotAI/Kimi-VL.