PPLLaVA: Comprensión Variada de Secuencias de Video con Orientación Rápida

PPLLaVA: Varied Video Sequence Understanding With Prompt Guidance

November 4, 2024

Autores: Ruyang Liu, Haoran Tang, Haibo Liu, Yixiao Ge, Ying Shan, Chen Li, Jiankun Yang

cs.AI

Resumen

El año pasado ha sido testigo del significativo avance de los modelos de lenguaje basados en video. Sin embargo, el desafío de desarrollar un modelo unificado para la comprensión de videos cortos y largos sigue sin resolverse. La mayoría de los modelos de lenguaje basados en video existentes no pueden manejar videos de una hora de duración, mientras que los métodos diseñados para videos largos suelen ser ineficaces para videos más cortos e imágenes. En este artículo, identificamos el problema clave como el contenido redundante en los videos. Para abordar esto, proponemos una novedosa estrategia de agrupación que logra simultáneamente la compresión de tokens y la agregación de características visuales conscientes de las instrucciones. Nuestro modelo se denomina Agrupación Guiada por Indicaciones para Modelos de Lenguaje Visual y de Video, o PPLLaVA en resumen. Específicamente, PPLLaVA consta de tres componentes principales: el alineamiento visual basado en indicaciones CLIP que extrae información visual relevante para las instrucciones del usuario, la agrupación guiada por indicaciones que comprime la secuencia visual a escalas arbitrarias utilizando una agrupación de estilo convolucional, y la extensión de contexto de clip diseñada para indicaciones extensas comunes en diálogos visuales. Además, nuestra base de código también integra la Optimización Directa de Preferencias (DPO) de video más avanzada y el entrenamiento visual entrelazado. Experimentos extensos han validado el rendimiento de nuestro modelo. Con un rendimiento superior y solo 1024 contextos visuales, PPLLaVA logra mejores resultados en bancos de imágenes como modelo de lenguaje visual y de video, al tiempo que alcanza un rendimiento de vanguardia en diversos bancos de videos, destacándose en tareas que van desde la generación de subtítulos hasta preguntas de opción múltiple, y manejando longitudes de video que van desde segundos hasta horas. El código está disponible en https://github.com/farewellthree/PPLLaVA.

English

The past year has witnessed the significant advancement of video-based large language models. However, the challenge of developing a unified model for both short and long video understanding remains unresolved. Most existing video LLMs cannot handle hour-long videos, while methods custom for long videos tend to be ineffective for shorter videos and images. In this paper, we identify the key issue as the redundant content in videos. To address this, we propose a novel pooling strategy that simultaneously achieves token compression and instruction-aware visual feature aggregation. Our model is termed Prompt-guided Pooling LLaVA, or PPLLaVA for short. Specifically, PPLLaVA consists of three core components: the CLIP-based visual-prompt alignment that extracts visual information relevant to the user's instructions, the prompt-guided pooling that compresses the visual sequence to arbitrary scales using convolution-style pooling, and the clip context extension designed for lengthy prompt common in visual dialogue. Moreover, our codebase also integrates the most advanced video Direct Preference Optimization (DPO) and visual interleave training. Extensive experiments have validated the performance of our model. With superior throughput and only 1024 visual context, PPLLaVA achieves better results on image benchmarks as a video LLM, while achieving state-of-the-art performance across various video benchmarks, excelling in tasks ranging from caption generation to multiple-choice questions, and handling video lengths from seconds to hours. Codes have been available at https://github.com/farewellthree/PPLLaVA.