Video-Panda: Parameter-effiziente Ausrichtung für Encoder-freie Video-Sprachmodelle

Video-Panda: Parameter-efficient Alignment for Encoder-free Video-Language Models

December 24, 2024

Autoren: Jinhui Yi, Syed Talal Wasim, Yanan Luo, Muzammal Naseer, Juergen Gall

cs.AI

Zusammenfassung

Wir präsentieren einen effizienten Ansatz ohne Encoder für das Verstehen von Video-Sprache, der eine wettbewerbsfähige Leistung erzielt und gleichzeitig den Rechenaufwand erheblich reduziert. Aktuelle Video-Sprachmodelle verlassen sich in der Regel auf schwergewichtige Bild-Encoder (300M-1.1B Parameter) oder Video-Encoder (1B-1.4B Parameter), was eine erhebliche Rechenlast bei der Verarbeitung von Mehrbildvideos erzeugt. Unsere Methode führt einen neuartigen räumlich-zeitlichen Ausrichtungsblock (STAB) ein, der Videoeingaben direkt verarbeitet, ohne auf vorab trainierte Encoder angewiesen zu sein, und dabei nur 45M Parameter für die visuelle Verarbeitung verwendet - mindestens eine 6,5-fache Reduzierung im Vergleich zu traditionellen Ansätzen. Die STAB-Architektur kombiniert lokales räumlich-zeitliches Codieren für eine feinkörnige Merkmalsextraktion, effizientes räumliches Downsampling durch erlernte Aufmerksamkeit und separate Mechanismen zur Modellierung von Frame- und Videoebenenbeziehungen. Unser Modell erzielt vergleichbare oder überlegene Leistung im Vergleich zu Encoder-basierten Ansätzen für offene Video-Fragenbeantwortung auf Standard-Benchmarks. Die feinkörnige Bewertung der Video-Fragenbeantwortung zeigt die Wirksamkeit unseres Modells, das in Schlüsselaspekten wie Korrektheit und zeitlichem Verständnis die Encoder-basierten Ansätze Video-ChatGPT und Video-LLaVA übertrifft. Umfangreiche Ablationsstudien bestätigen unsere architektonischen Entscheidungen und zeigen die Wirksamkeit unseres räumlich-zeitlichen Modellierungsansatzes, während gleichzeitig Verarbeitungsgeschwindigkeiten erzielt werden, die 3-4-mal schneller sind als bei früheren Methoden. Der Code ist verfügbar unter https://github.com/jh-yi/Video-Panda.

English

We present an efficient encoder-free approach for video-language understanding that achieves competitive performance while significantly reducing computational overhead. Current video-language models typically rely on heavyweight image encoders (300M-1.1B parameters) or video encoders (1B-1.4B parameters), creating a substantial computational burden when processing multi-frame videos. Our method introduces a novel Spatio-Temporal Alignment Block (STAB) that directly processes video inputs without requiring pre-trained encoders while using only 45M parameters for visual processing - at least a 6.5times reduction compared to traditional approaches. The STAB architecture combines Local Spatio-Temporal Encoding for fine-grained feature extraction, efficient spatial downsampling through learned attention and separate mechanisms for modeling frame-level and video-level relationships. Our model achieves comparable or superior performance to encoder-based approaches for open-ended video question answering on standard benchmarks. The fine-grained video question-answering evaluation demonstrates our model's effectiveness, outperforming the encoder-based approaches Video-ChatGPT and Video-LLaVA in key aspects like correctness and temporal understanding. Extensive ablation studies validate our architectural choices and demonstrate the effectiveness of our spatio-temporal modeling approach while achieving 3-4times faster processing speeds than previous methods. Code is available at https://github.com/jh-yi/Video-Panda.