BIMBA: Compressão de Varredura Seletiva para Resposta a Perguntas em Vídeos de Longo Alcance

BIMBA: Selective-Scan Compression for Long-Range Video Question Answering

March 12, 2025

Autores: Md Mohaiminul Islam, Tushar Nagarajan, Huiyu Wang, Gedas Bertasius, Lorenzo Torresani

cs.AI

Resumo

O Video Question Answering (VQA) em vídeos longos apresenta o desafio fundamental de extrair informações relevantes e modelar dependências de longo alcance a partir de muitos quadros redundantes. O mecanismo de self-attention oferece uma solução geral para a modelagem de sequências, mas possui um custo proibitivo quando aplicado a um grande número de tokens espaço-temporais em vídeos longos. A maioria dos métodos anteriores depende de estratégias de compressão para reduzir o custo computacional, como diminuir o comprimento da entrada por meio de amostragem esparsa de quadros ou comprimir a sequência de saída passada para o modelo de linguagem de grande escala (LLM) por meio de pooling espaço-temporal. No entanto, essas abordagens ingênuas super-representam informações redundantes e frequentemente perdem eventos salientes ou padrões espaço-temporais de ocorrência rápida. Neste trabalho, introduzimos o BIMBA, um modelo de espaço de estados eficiente para lidar com vídeos de longa duração. Nosso modelo aproveita o algoritmo de varredura seletiva para aprender a selecionar efetivamente informações críticas de vídeos de alta dimensionalidade e transformá-las em uma sequência reduzida de tokens para processamento eficiente pelo LLM. Experimentos extensivos demonstram que o BIMBA alcança precisão de ponta em vários benchmarks de VQA de longa duração, incluindo PerceptionTest, NExT-QA, EgoSchema, VNBench, LongVideoBench e Video-MME. O código e os modelos estão publicamente disponíveis em https://sites.google.com/view/bimba-mllm.

English

Video Question Answering (VQA) in long videos poses the key challenge of extracting relevant information and modeling long-range dependencies from many redundant frames. The self-attention mechanism provides a general solution for sequence modeling, but it has a prohibitive cost when applied to a massive number of spatiotemporal tokens in long videos. Most prior methods rely on compression strategies to lower the computational cost, such as reducing the input length via sparse frame sampling or compressing the output sequence passed to the large language model (LLM) via space-time pooling. However, these naive approaches over-represent redundant information and often miss salient events or fast-occurring space-time patterns. In this work, we introduce BIMBA, an efficient state-space model to handle long-form videos. Our model leverages the selective scan algorithm to learn to effectively select critical information from high-dimensional video and transform it into a reduced token sequence for efficient LLM processing. Extensive experiments demonstrate that BIMBA achieves state-of-the-art accuracy on multiple long-form VQA benchmarks, including PerceptionTest, NExT-QA, EgoSchema, VNBench, LongVideoBench, and Video-MME. Code, and models are publicly available at https://sites.google.com/view/bimba-mllm.