BIMBA: Compresión de Escaneo Selectivo para Respuestas a Preguntas en Videos de Largo Alcance

BIMBA: Selective-Scan Compression for Long-Range Video Question Answering

March 12, 2025

Autores: Md Mohaiminul Islam, Tushar Nagarajan, Huiyu Wang, Gedas Bertasius, Lorenzo Torresani

cs.AI

Resumen

El Video Question Answering (VQA) en videos largos plantea el desafío clave de extraer información relevante y modelar dependencias de largo alcance a partir de muchos fotogramas redundantes. El mecanismo de autoatención ofrece una solución general para el modelado de secuencias, pero tiene un costo prohibitivo cuando se aplica a un gran número de tokens espacio-temporales en videos largos. La mayoría de los métodos anteriores se basan en estrategias de compresión para reducir el costo computacional, como disminuir la longitud de entrada mediante muestreo disperso de fotogramas o comprimir la secuencia de salida que se pasa al modelo de lenguaje grande (LLM) mediante agrupación espacio-temporal. Sin embargo, estos enfoques ingenuos sobredimensionan la información redundante y a menudo pasan por alto eventos destacados o patrones espacio-temporales de rápida ocurrencia. En este trabajo, presentamos BIMBA, un modelo de espacio de estados eficiente para manejar videos de larga duración. Nuestro modelo aprovecha el algoritmo de escaneo selectivo para aprender a seleccionar de manera efectiva información crítica a partir de videos de alta dimensionalidad y transformarla en una secuencia reducida de tokens para un procesamiento eficiente por parte del LLM. Experimentos extensos demuestran que BIMBA logra una precisión de vanguardia en múltiples benchmarks de VQA de larga duración, incluyendo PerceptionTest, NExT-QA, EgoSchema, VNBench, LongVideoBench y Video-MME. El código y los modelos están disponibles públicamente en https://sites.google.com/view/bimba-mllm.

English

Video Question Answering (VQA) in long videos poses the key challenge of extracting relevant information and modeling long-range dependencies from many redundant frames. The self-attention mechanism provides a general solution for sequence modeling, but it has a prohibitive cost when applied to a massive number of spatiotemporal tokens in long videos. Most prior methods rely on compression strategies to lower the computational cost, such as reducing the input length via sparse frame sampling or compressing the output sequence passed to the large language model (LLM) via space-time pooling. However, these naive approaches over-represent redundant information and often miss salient events or fast-occurring space-time patterns. In this work, we introduce BIMBA, an efficient state-space model to handle long-form videos. Our model leverages the selective scan algorithm to learn to effectively select critical information from high-dimensional video and transform it into a reduced token sequence for efficient LLM processing. Extensive experiments demonstrate that BIMBA achieves state-of-the-art accuracy on multiple long-form VQA benchmarks, including PerceptionTest, NExT-QA, EgoSchema, VNBench, LongVideoBench, and Video-MME. Code, and models are publicly available at https://sites.google.com/view/bimba-mllm.