PAVE: ビデオ大規模言語モデルのパッチ適用と適応

PAVE: Patching and Adapting Video Large Language Models

March 25, 2025

著者: Zhuoming Liu, Yiquan Li, Khoi Duc Nguyen, Yiwu Zhong, Yin Li

cs.AI

要旨

事前学習済みのビデオ大規模言語モデル（Video LLM）は優れた推論能力を示しますが、追加のモダリティやデータタイプ（例：音声や3D情報）を含む新しいタスクに適応させることは依然として課題です。本論文では、音声、3D手がかり、マルチビュービデオなどのサイドチャネル信号を伴う下流タスクに事前学習済みVideo LLMを適応させるための柔軟なフレームワークであるPAVEを提案します。PAVEは「パッチ」と呼ばれる軽量アダプターを導入し、ベースモデルのアーキテクチャや事前学習済みの重みを変更することなく、少数のパラメータと操作を追加します。これにより、PAVEは事前学習済みのベースモデルを効果的に適応させ、音声視覚質問応答、3D推論、マルチビュービデオ認識、高フレームレートビデオ理解など、多様な下流タスクをサポートできます。これらのタスクにおいて、PAVEはベースモデルの性能を大幅に向上させ、最先端のタスク特化モデルを上回りながら、わずか約0.1%の追加FLOPsとパラメータコストを発生させます。さらに、PAVEはマルチタスク学習をサポートし、異なるVideo LLM間で良好な汎化性能を示します。私たちのコードはhttps://github.com/dragonlzm/PAVEで公開されています。

English

Pre-trained video large language models (Video LLMs) exhibit remarkable reasoning capabilities, yet adapting these models to new tasks involving additional modalities or data types (e.g., audio or 3D information) remains challenging. In this paper, we present PAVE, a flexible framework for adapting pre-trained Video LLMs to downstream tasks with side-channel signals, such as audio, 3D cues, or multi-view videos. PAVE introduces lightweight adapters, referred to as "patches," which add a small number of parameters and operations to a base model without modifying its architecture or pre-trained weights. In doing so, PAVE can effectively adapt the pre-trained base model to support diverse downstream tasks, including audio-visual question answering, 3D reasoning, multi-view video recognition, and high frame rate video understanding. Across these tasks, PAVE significantly enhances the performance of the base model, surpassing state-of-the-art task-specific models while incurring a minor cost of ~0.1% additional FLOPs and parameters. Further, PAVE supports multi-task learning and generalizes well across different Video LLMs. Our code is available at https://github.com/dragonlzm/PAVE.