TimeViper: Um Modelo de Visão e Linguagem Híbrido Mamba-Transformer para Compreensão Eficiente de Vídeos Longos

TimeViper: A Hybrid Mamba-Transformer Vision-Language Model for Efficient Long Video Understanding

November 20, 2025

Autores: Boshen Xu, Zihan Xiao, Jiaze Li, Jianzhong Ju, Zhenbo Luo, Jian Luan, Qin Jin

cs.AI

Resumo

Apresentamos o TimeViper, um modelo híbrido de visão e linguagem concebido para enfrentar os desafios da compreensão de vídeos longos. O processamento de vídeos longos exige tanto uma arquitetura de modelo eficiente quanto um mecanismo eficaz para lidar com contextos temporais extensos. Para tal, o TimeViper adota uma estrutura híbrida Mamba-Transformer que combina a eficiência dos modelos de espaço de estados com a expressividade dos mecanismos de atenção. Através deste design híbrido, revelamos o fenômeno de agregação de informação visão-para-texto, no qual a informação flui progressivamente dos tokens visuais para os tokens textuais à medida que a profundidade do LLM aumenta, resultando numa severa redundância dos tokens visuais. Motivados por esta observação, propomos o TransV, um módulo de transferência de informação de tokens que transfere e comprime os tokens visuais em tokens de instrução, mantendo as capacidades de compreensão multimodal. Este design permite ao TimeViper processar vídeos com horas de duração que excedem 10.000 frames. Extensos experimentos em múltiplos benchmarks demonstram que o TimeViper compete com os modelos state-of-the-art enquanto estende o número de frames. Analisamos ainda os comportamentos de atenção tanto das camadas Mamba como das Transformer, oferecendo novas perspetivas sobre a interpretabilidade dos modelos híbridos. Este trabalho representa um passo inicial no desenvolvimento, interpretação e compressão de arquiteturas híbridas Mamba-Transformer.

English

We introduce TimeViper, a hybrid vision-language model designed to tackle challenges of long video understanding. Processing long videos demands both an efficient model architecture and an effective mechanism for handling extended temporal contexts. To this end, TimeViper adopts a hybrid Mamba-Transformer backbone that combines the efficiency of state-space models with the expressivity of attention mechanisms. Through this hybrid design, we reveal the vision-to-text information aggregation phenomenon, where information progressively flows from vision tokens to text tokens across increasing LLM depth, resulting in severe vision token redundancy. Motivated by this observation, we propose TransV, a token information transfer module that transfers and compresses vision tokens into instruction tokens while maintaining multimodal understanding capabilities. This design enables TimeViper to process hour-long videos exceeding 10,000 frames. Extensive experiments across multiple benchmarks demonstrate that TimeViper competes with state-of-the-art models while extending frame numbers. We further analyze attention behaviors of both Mamba and Transformer layers, offering new insights into hybrid model interpretability. This work represents an initial step towards developing, interpreting, and compressing hybrid Mamba-Transformer architectures.