TimeViper: Un Modelo de Visión y Lenguaje Híbrido Mamba-Transformer para la Comprensión Eficiente de Videos Largos

TimeViper: A Hybrid Mamba-Transformer Vision-Language Model for Efficient Long Video Understanding

November 20, 2025

Autores: Boshen Xu, Zihan Xiao, Jiaze Li, Jianzhong Ju, Zhenbo Luo, Jian Luan, Qin Jin

cs.AI

Resumen

Presentamos TimeViper, un modelo híbrido de visión y lenguaje diseñado para abordar los desafíos de la comprensión de vídeos largos. El procesamiento de vídeos largos exige tanto una arquitectura de modelo eficiente como un mecanismo efectivo para manejar contextos temporales extendidos. Con este fin, TimeViper adopta una arquitectura híbrida Mamba-Transformer que combina la eficiencia de los modelos de espacio de estados con la expresividad de los mecanismos de atención. A través de este diseño híbrido, revelamos el fenómeno de agregación de información de visión a texto, donde la información fluye progresivamente desde los tokens visuales hacia los tokens de texto a lo largo de la profundidad creciente del LLM, resultando en una severa redundancia de tokens visuales. Motivados por esta observación, proponemos TransV, un módulo de transferencia de información de tokens que transfiere y comprime los tokens visuales en tokens de instrucción manteniendo las capacidades de comprensión multimodal. Este diseño permite a TimeViper procesar vídeos de una hora de duración que superan las 10,000 frames. Experimentos exhaustivos en múltiples benchmarks demuestran que TimeViper compite con los modelos de vanguardia mientras extiende el número de frames. Además, analizamos los comportamientos de atención tanto de las capas Mamba como Transformer, ofreciendo nuevas perspectivas sobre la interpretabilidad de los modelos híbridos. Este trabajo representa un paso inicial hacia el desarrollo, interpretación y compresión de arquitecturas híbridas Mamba-Transformer.

English

We introduce TimeViper, a hybrid vision-language model designed to tackle challenges of long video understanding. Processing long videos demands both an efficient model architecture and an effective mechanism for handling extended temporal contexts. To this end, TimeViper adopts a hybrid Mamba-Transformer backbone that combines the efficiency of state-space models with the expressivity of attention mechanisms. Through this hybrid design, we reveal the vision-to-text information aggregation phenomenon, where information progressively flows from vision tokens to text tokens across increasing LLM depth, resulting in severe vision token redundancy. Motivated by this observation, we propose TransV, a token information transfer module that transfers and compresses vision tokens into instruction tokens while maintaining multimodal understanding capabilities. This design enables TimeViper to process hour-long videos exceeding 10,000 frames. Extensive experiments across multiple benchmarks demonstrate that TimeViper competes with state-of-the-art models while extending frame numbers. We further analyze attention behaviors of both Mamba and Transformer layers, offering new insights into hybrid model interpretability. This work represents an initial step towards developing, interpreting, and compressing hybrid Mamba-Transformer architectures.