Rapporto Tecnico Kwai Keye-VL 1.5

Abstract

Negli ultimi anni, lo sviluppo dei Large Language Models (LLMs) ha compiuto progressi significativi, estendendo le loro capacità a compiti multimodali attraverso i Multimodal Large Language Models (MLLMs). Tuttavia, la comprensione dei video rimane un'area impegnativa a causa della natura dinamica e densa di informazioni dei video. I modelli esistenti faticano a bilanciare la risoluzione spaziale e la copertura temporale durante l'elaborazione dei contenuti video. Presentiamo Keye-VL-1.5, che affronta le sfide fondamentali nella comprensione dei video attraverso tre innovazioni chiave. In primo luogo, introduciamo una nuova strategia di codifica video Slow-Fast che assegna dinamicamente le risorse computazionali in base alla similarità inter-fotogramma, elaborando i fotogrammi chiave con cambiamenti visivi significativi a una risoluzione più alta (percorso Slow) mentre gestisce fotogrammi relativamente statici con una maggiore copertura temporale a una risoluzione più bassa (percorso Fast). In secondo luogo, implementiamo una metodologia di pre-addestramento progressivo in quattro fasi che estende sistematicamente la lunghezza del contesto del modello da 8K a 128K token, consentendo l'elaborazione di video più lunghi e contenuti visivi più complessi. In terzo luogo, sviluppiamo una pipeline completa di post-addestramento focalizzata sul miglioramento del ragionamento e sull'allineamento alle preferenze umane, incorporando un processo di costruzione dati a 5 passaggi di chain-of-thought, apprendimento per rinforzo iterativo basato su GSPO con suggerimenti progressivi per casi difficili e addestramento di allineamento. Attraverso una valutazione estesa su benchmark pubblici e una rigorosa valutazione umana interna, Keye-VL-1.5 dimostra miglioramenti significativi rispetto ai modelli esistenti, eccellendo in particolare nei compiti di comprensione dei video mantenendo prestazioni competitive su benchmark multimodali generali.

English

In recent years, the development of Large Language Models (LLMs) has significantly advanced, extending their capabilities to multimodal tasks through Multimodal Large Language Models (MLLMs). However, video understanding remains a challenging area due to the dynamic and information-dense nature of videos. Existing models struggle with the trade-off between spatial resolution and temporal coverage when processing video content. We present Keye-VL-1.5, which addresses fundamental challenges in video comprehension through three key innovations. First, we introduce a novel Slow-Fast video encoding strategy that dynamically allocates computational resources based on inter-frame similarity, processing key frames with significant visual changes at higher resolution (Slow pathway) while handling relatively static frames with increased temporal coverage at lower resolution (Fast pathway). Second, we implement a progressive four-stage pre-training methodology that systematically extends the model's context length from 8K to 128K tokens, enabling processing of longer videos and more complex visual content. Third, we develop a comprehensive post-training pipeline focusing on reasoning enhancement and human preference alignment, incorporating a 5-step chain-of-thought data construction process, iterative GSPO-based reinforcement learning with progressive prompt hinting for difficult cases, and alignment training. Through extensive evaluation on public benchmarks and rigorous internal human assessment, Keye-VL-1.5 demonstrates significant improvements over existing models, particularly excelling in video understanding tasks while maintaining competitive performance on general multimodal benchmarks.

Rapporto Tecnico Kwai Keye-VL 1.5

Kwai Keye-VL 1.5 Technical Report

Abstract

Support