TimeViper: Un Modello Visione-Linguaggio Ibrido Mamba-Transformer per la Comprensione Efficiente di Video Lunghi

TimeViper: A Hybrid Mamba-Transformer Vision-Language Model for Efficient Long Video Understanding

November 20, 2025

Autori: Boshen Xu, Zihan Xiao, Jiaze Li, Jianzhong Ju, Zhenbo Luo, Jian Luan, Qin Jin

cs.AI

Abstract

Introduciamo TimeViper, un modello ibrido visione-linguaggio progettato per affrontare le sfide della comprensione di video lunghi. L'elaborazione di video lunghi richiede sia un'architettura modellistica efficiente che un meccanismo efficace per gestire contesti temporali estesi. A tal fine, TimeViper adotta un'architettura ibrida Mamba-Transformer che combina l'efficienza dei modelli spazio-stato con l'espressività dei meccanismi di attenzione. Attraverso questo design ibrido, riveliamo il fenomeno di aggregazione dell'informazione dalla visione al testo, in cui l'informazione fluisce progressivamente dai token visivi ai token testuali con l'aumentare della profondità del LLM, risultando in una severa ridondanza dei token visivi. Motivati da questa osservazione, proponiamo TransV, un modulo di trasferimento dell'informazione dei token che trasferisce e comprime i token visivi in token di istruzione mantenendo le capacità di comprensione multimodale. Questo design consente a TimeViper di elaborare video della durata di ore che superano i 10.000 fotogrammi. Esperimenti estesi su molteplici benchmark dimostrano che TimeViper compete con i modelli all'avanguardia pur estendendo il numero di fotogrammi. Analizziamo ulteriormente i comportamenti di attenzione sia degli strati Mamba che Transformer, offrendo nuove intuizioni sull'interpretabilità dei modelli ibridi. Questo lavoro rappresenta un passo iniziale verso lo sviluppo, l'interpretazione e la compressione delle architetture ibride Mamba-Transformer.

English

We introduce TimeViper, a hybrid vision-language model designed to tackle challenges of long video understanding. Processing long videos demands both an efficient model architecture and an effective mechanism for handling extended temporal contexts. To this end, TimeViper adopts a hybrid Mamba-Transformer backbone that combines the efficiency of state-space models with the expressivity of attention mechanisms. Through this hybrid design, we reveal the vision-to-text information aggregation phenomenon, where information progressively flows from vision tokens to text tokens across increasing LLM depth, resulting in severe vision token redundancy. Motivated by this observation, we propose TransV, a token information transfer module that transfers and compresses vision tokens into instruction tokens while maintaining multimodal understanding capabilities. This design enables TimeViper to process hour-long videos exceeding 10,000 frames. Extensive experiments across multiple benchmarks demonstrate that TimeViper competes with state-of-the-art models while extending frame numbers. We further analyze attention behaviors of both Mamba and Transformer layers, offering new insights into hybrid model interpretability. This work represents an initial step towards developing, interpreting, and compressing hybrid Mamba-Transformer architectures.