PPLLaVA: プロンプトガイダンスによる多様なビデオシーケンス理解

PPLLaVA: Varied Video Sequence Understanding With Prompt Guidance

November 4, 2024

著者: Ruyang Liu, Haoran Tang, Haibo Liu, Yixiao Ge, Ying Shan, Chen Li, Jiankun Yang

cs.AI

要旨

過去1年間、ビデオベースの大規模言語モデルの重要な進展が見られました。しかし、短いビデオと長いビデオの両方に対応する統一されたモデルを開発するという課題は未解決のままです。既存のビデオLLMのほとんどは1時間のビデオを処理できず、長いビデオ向けのカスタムメソッドは短いビデオや画像には効果がありません。本論文では、ビデオ内の冗長なコンテンツを問題の中心と位置付けます。この問題に対処するため、トークンの圧縮と指示に注意した視覚特徴の集約を同時に実現する新しいプーリング戦略を提案します。当該モデルはPrompt-guided Pooling LLaVA（略してPPLLaVA）と呼ばれます。具体的には、PPLLaVAには3つの中核コンポーネントが含まれています。ユーザーの指示に関連する視覚情報を抽出するCLIPベースの視覚プロンプトアラインメント、畳み込みスタイルのプーリングを使用して視覚シーケンスを任意のスケールに圧縮するプロンプトガイド付きプーリング、およびビジュアルダイアログで一般的な長いプロンプト向けに設計されたクリップコンテキスト拡張が含まれます。さらに、当該コードベースには、最先端のビデオDirect Preference Optimization（DPO）およびビジュアルインターリーブトレーニングも統合されています。幅広い実験により、当該モデルの性能が検証されました。PPLLaVAは、1024の視覚コンテキストのみで優れたスループットを実現し、ビデオLLMとして画像ベンチマークでより良い結果を達成すると同時に、キャプション生成から多肢選択問題までの様々なビデオベンチマークで最先端の性能を発揮し、秒から時間までのビデオ長に対応しています。コードは以下で入手可能です：https://github.com/farewellthree/PPLLaVA.

English

The past year has witnessed the significant advancement of video-based large language models. However, the challenge of developing a unified model for both short and long video understanding remains unresolved. Most existing video LLMs cannot handle hour-long videos, while methods custom for long videos tend to be ineffective for shorter videos and images. In this paper, we identify the key issue as the redundant content in videos. To address this, we propose a novel pooling strategy that simultaneously achieves token compression and instruction-aware visual feature aggregation. Our model is termed Prompt-guided Pooling LLaVA, or PPLLaVA for short. Specifically, PPLLaVA consists of three core components: the CLIP-based visual-prompt alignment that extracts visual information relevant to the user's instructions, the prompt-guided pooling that compresses the visual sequence to arbitrary scales using convolution-style pooling, and the clip context extension designed for lengthy prompt common in visual dialogue. Moreover, our codebase also integrates the most advanced video Direct Preference Optimization (DPO) and visual interleave training. Extensive experiments have validated the performance of our model. With superior throughput and only 1024 visual context, PPLLaVA achieves better results on image benchmarks as a video LLM, while achieving state-of-the-art performance across various video benchmarks, excelling in tasks ranging from caption generation to multiple-choice questions, and handling video lengths from seconds to hours. Codes have been available at https://github.com/farewellthree/PPLLaVA.