Video-Panda: Alineación Eficiente de Parámetros para Modelos de Lenguaje de Video sin Codificador

Video-Panda: Parameter-efficient Alignment for Encoder-free Video-Language Models

December 24, 2024

Autores: Jinhui Yi, Syed Talal Wasim, Yanan Luo, Muzammal Naseer, Juergen Gall

cs.AI

Resumen

Presentamos un enfoque eficiente sin codificador para la comprensión de video-lenguaje que logra un rendimiento competitivo al reducir significativamente la carga computacional. Los modelos actuales de video-lenguaje suelen depender de codificadores de imágenes pesados (300M-1.1B parámetros) o codificadores de video (1B-1.4B parámetros), lo que genera una carga computacional sustancial al procesar videos de múltiples fotogramas. Nuestro método introduce un innovador Bloque de Alineación Espacio-Temporal (STAB) que procesa directamente las entradas de video sin necesidad de codificadores pre-entrenados, utilizando solo 45M parámetros para el procesamiento visual, al menos una reducción de 6.5 veces en comparación con los enfoques tradicionales. La arquitectura STAB combina Codificación Espacio-Temporal Local para la extracción de características detalladas, un muestreo espacial eficiente a través de atención aprendida y mecanismos separados para modelar las relaciones a nivel de fotograma y de video. Nuestro modelo logra un rendimiento comparable o superior a los enfoques basados en codificadores para la respuesta a preguntas de video abiertas en bancos de pruebas estándar. La evaluación detallada de respuesta a preguntas de video demuestra la efectividad de nuestro modelo, superando a los enfoques basados en codificadores Video-ChatGPT y Video-LLaVA en aspectos clave como la corrección y la comprensión temporal. Estudios de ablación extensos validan nuestras elecciones arquitectónicas y demuestran la efectividad de nuestro enfoque de modelado espacio-temporal, logrando velocidades de procesamiento 3-4 veces más rápidas que los métodos anteriores. El código está disponible en https://github.com/jh-yi/Video-Panda.

English

We present an efficient encoder-free approach for video-language understanding that achieves competitive performance while significantly reducing computational overhead. Current video-language models typically rely on heavyweight image encoders (300M-1.1B parameters) or video encoders (1B-1.4B parameters), creating a substantial computational burden when processing multi-frame videos. Our method introduces a novel Spatio-Temporal Alignment Block (STAB) that directly processes video inputs without requiring pre-trained encoders while using only 45M parameters for visual processing - at least a 6.5times reduction compared to traditional approaches. The STAB architecture combines Local Spatio-Temporal Encoding for fine-grained feature extraction, efficient spatial downsampling through learned attention and separate mechanisms for modeling frame-level and video-level relationships. Our model achieves comparable or superior performance to encoder-based approaches for open-ended video question answering on standard benchmarks. The fine-grained video question-answering evaluation demonstrates our model's effectiveness, outperforming the encoder-based approaches Video-ChatGPT and Video-LLaVA in key aspects like correctness and temporal understanding. Extensive ablation studies validate our architectural choices and demonstrate the effectiveness of our spatio-temporal modeling approach while achieving 3-4times faster processing speeds than previous methods. Code is available at https://github.com/jh-yi/Video-Panda.