PPLLaVA: Compreensão Variada de Sequências de Vídeo com Orientação de Prompt

PPLLaVA: Varied Video Sequence Understanding With Prompt Guidance

November 4, 2024

Autores: Ruyang Liu, Haoran Tang, Haibo Liu, Yixiao Ge, Ying Shan, Chen Li, Jiankun Yang

cs.AI

Resumo

O ano passado testemunhou o significativo avanço de modelos de linguagem baseados em vídeo. No entanto, o desafio de desenvolver um modelo unificado para compreensão de vídeos curtos e longos permanece sem solução. A maioria dos modelos de linguagem baseados em vídeo existentes não consegue lidar com vídeos de longa duração, enquanto os métodos personalizados para vídeos longos tendem a ser ineficazes para vídeos curtos e imagens. Neste artigo, identificamos o problema-chave como o conteúdo redundante em vídeos. Para abordar isso, propomos uma nova estratégia de pooling que simultaneamente alcança compressão de tokens e agregação de características visuais conscientes das instruções. Nosso modelo é denominado Pooling Guiado por Prompt LLaVA, ou PPLLaVA para abreviar. Especificamente, o PPLLaVA é composto por três componentes principais: o alinhamento visual baseado em prompt CLIP que extrai informações visuais relevantes às instruções do usuário, o pooling guiado por prompt que comprime a sequência visual para escalas arbitrárias usando pooling no estilo convolucional, e a extensão de contexto de clipe projetada para prompts extensos comuns em diálogos visuais. Além disso, nossa base de código também integra a otimização de preferência direta (DPO) de vídeo mais avançada e treinamento visual intercalado. Experimentos extensivos validaram o desempenho de nosso modelo. Com rendimento superior e apenas 1024 contextos visuais, o PPLLaVA alcança melhores resultados em benchmarks de imagem como um modelo de linguagem baseado em vídeo, ao mesmo tempo que alcança desempenho de ponta em diversos benchmarks de vídeo, destacando-se em tarefas que vão desde geração de legendas até perguntas de múltipla escolha, e lidando com vídeos de segundos a horas. Os códigos estão disponíveis em https://github.com/farewellthree/PPLLaVA.

English

The past year has witnessed the significant advancement of video-based large language models. However, the challenge of developing a unified model for both short and long video understanding remains unresolved. Most existing video LLMs cannot handle hour-long videos, while methods custom for long videos tend to be ineffective for shorter videos and images. In this paper, we identify the key issue as the redundant content in videos. To address this, we propose a novel pooling strategy that simultaneously achieves token compression and instruction-aware visual feature aggregation. Our model is termed Prompt-guided Pooling LLaVA, or PPLLaVA for short. Specifically, PPLLaVA consists of three core components: the CLIP-based visual-prompt alignment that extracts visual information relevant to the user's instructions, the prompt-guided pooling that compresses the visual sequence to arbitrary scales using convolution-style pooling, and the clip context extension designed for lengthy prompt common in visual dialogue. Moreover, our codebase also integrates the most advanced video Direct Preference Optimization (DPO) and visual interleave training. Extensive experiments have validated the performance of our model. With superior throughput and only 1024 visual context, PPLLaVA achieves better results on image benchmarks as a video LLM, while achieving state-of-the-art performance across various video benchmarks, excelling in tasks ranging from caption generation to multiple-choice questions, and handling video lengths from seconds to hours. Codes have been available at https://github.com/farewellthree/PPLLaVA.