Video-Panda: Parameter-efficiënte Afstemming voor Encoder-vrije Video-Taalmodellen

Video-Panda: Parameter-efficient Alignment for Encoder-free Video-Language Models

December 24, 2024

Auteurs: Jinhui Yi, Syed Talal Wasim, Yanan Luo, Muzammal Naseer, Juergen Gall

cs.AI

Samenvatting

We presenteren een efficiënte aanpak zonder encoder voor het begrijpen van video-taal die een competitieve prestatie behaalt terwijl de computationele overhead aanzienlijk wordt verminderd. Huidige modellen voor video-taal vertrouwen doorgaans op zware beeldencoders (300M-1.1B parameters) of video-encoders (1B-1.4B parameters), wat een aanzienlijke computationele last met zich meebrengt bij het verwerken van video's met meerdere frames. Onze methode introduceert een nieuw ruimtelijk-temporeel uitlijningsblok (STAB) dat video-invoer direct verwerkt zonder vooraf getrainde encoders te vereisen, terwijl het slechts 45M parameters gebruikt voor visuele verwerking - minstens een 6,5 keer reductie vergeleken met traditionele benaderingen. De STAB-architectuur combineert Lokale Ruimtelijke-Temporele Codering voor gedetailleerde kenmerkextractie, efficiënte ruimtelijke downsampling via geleerde aandacht en afzonderlijke mechanismen voor het modelleren van relaties op frame- en video-niveau. Ons model behaalt vergelijkbare of superieure prestaties ten opzichte van op encoders gebaseerde benaderingen voor open vragen over video's op standaard benchmarks. De evaluatie van gedetailleerde video-vraagbeantwoording toont de effectiviteit van ons model aan, waarbij het op belangrijke aspecten zoals correctheid en temporeel begrip beter presteert dan de op encoders gebaseerde benaderingen Video-ChatGPT en Video-LLaVA. Uitgebreide ablatiestudies bevestigen onze architecturale keuzes en tonen de effectiviteit van onze ruimtelijk-temporele modelleringsbenadering aan, terwijl er 3-4 keer snellere verwerkingssnelheden worden behaald dan bij eerdere methoden. De code is beschikbaar op https://github.com/jh-yi/Video-Panda.

English

We present an efficient encoder-free approach for video-language understanding that achieves competitive performance while significantly reducing computational overhead. Current video-language models typically rely on heavyweight image encoders (300M-1.1B parameters) or video encoders (1B-1.4B parameters), creating a substantial computational burden when processing multi-frame videos. Our method introduces a novel Spatio-Temporal Alignment Block (STAB) that directly processes video inputs without requiring pre-trained encoders while using only 45M parameters for visual processing - at least a 6.5times reduction compared to traditional approaches. The STAB architecture combines Local Spatio-Temporal Encoding for fine-grained feature extraction, efficient spatial downsampling through learned attention and separate mechanisms for modeling frame-level and video-level relationships. Our model achieves comparable or superior performance to encoder-based approaches for open-ended video question answering on standard benchmarks. The fine-grained video question-answering evaluation demonstrates our model's effectiveness, outperforming the encoder-based approaches Video-ChatGPT and Video-LLaVA in key aspects like correctness and temporal understanding. Extensive ablation studies validate our architectural choices and demonstrate the effectiveness of our spatio-temporal modeling approach while achieving 3-4times faster processing speeds than previous methods. Code is available at https://github.com/jh-yi/Video-Panda.