Kwai Keye-VL 1.5 Technischer Bericht

papers.abstract

In den letzten Jahren hat die Entwicklung von Large Language Models (LLMs) erhebliche Fortschritte gemacht, wodurch ihre Fähigkeiten auf multimodale Aufgaben durch Multimodal Large Language Models (MLLMs) erweitert wurden. Dennoch bleibt das Verständnis von Videos aufgrund ihrer dynamischen und informationsreichen Natur eine herausfordernde Domäne. Bestehende Modelle kämpfen mit dem Kompromiss zwischen räumlicher Auflösung und zeitlicher Abdeckung bei der Verarbeitung von Videoinhalten. Wir stellen Keye-VL-1.5 vor, das grundlegende Herausforderungen im Videoverständnis durch drei zentrale Innovationen adressiert. Erstens führen wir eine neuartige Slow-Fast-Video-Kodierungsstrategie ein, die Rechenressourcen dynamisch basierend auf der Ähnlichkeit zwischen den Bildern zuweist. Dabei werden Schlüsselbilder mit signifikanten visuellen Veränderungen in höherer Auflösung verarbeitet (Slow-Pfad), während relativ statische Bilder mit erhöhter zeitlicher Abdeckung in niedrigerer Auflösung behandelt werden (Fast-Pfad). Zweitens implementieren wir eine progressive vierstufige Vor-Trainingsmethodik, die die Kontextlänge des Modells systematisch von 8K auf 128K Tokens erweitert, wodurch die Verarbeitung längerer Videos und komplexerer visueller Inhalte ermöglicht wird. Drittens entwickeln wir eine umfassende Nach-Trainings-Pipeline, die sich auf die Verbesserung des logischen Denkens und die Ausrichtung an menschlichen Präferenzen konzentriert. Diese beinhaltet einen 5-stufigen Chain-of-Thought-Datenkonstruktionsprozess, iteratives GSPO-basiertes Reinforcement Learning mit progressiver Prompt-Hinweisgebung für schwierige Fälle und Alignment-Training. Durch umfangreiche Bewertungen auf öffentlichen Benchmarks und rigorose interne menschliche Bewertungen zeigt Keye-VL-1.5 signifikante Verbesserungen gegenüber bestehenden Modellen, insbesondere bei Aufgaben zum Videoverständnis, während es auf allgemeinen multimodalen Benchmarks wettbewerbsfähige Leistungen beibehält.

English

In recent years, the development of Large Language Models (LLMs) has significantly advanced, extending their capabilities to multimodal tasks through Multimodal Large Language Models (MLLMs). However, video understanding remains a challenging area due to the dynamic and information-dense nature of videos. Existing models struggle with the trade-off between spatial resolution and temporal coverage when processing video content. We present Keye-VL-1.5, which addresses fundamental challenges in video comprehension through three key innovations. First, we introduce a novel Slow-Fast video encoding strategy that dynamically allocates computational resources based on inter-frame similarity, processing key frames with significant visual changes at higher resolution (Slow pathway) while handling relatively static frames with increased temporal coverage at lower resolution (Fast pathway). Second, we implement a progressive four-stage pre-training methodology that systematically extends the model's context length from 8K to 128K tokens, enabling processing of longer videos and more complex visual content. Third, we develop a comprehensive post-training pipeline focusing on reasoning enhancement and human preference alignment, incorporating a 5-step chain-of-thought data construction process, iterative GSPO-based reinforcement learning with progressive prompt hinting for difficult cases, and alignment training. Through extensive evaluation on public benchmarks and rigorous internal human assessment, Keye-VL-1.5 demonstrates significant improvements over existing models, particularly excelling in video understanding tasks while maintaining competitive performance on general multimodal benchmarks.

Kwai Keye-VL 1.5 Technischer Bericht

Kwai Keye-VL 1.5 Technical Report

papers.abstract

Support