TimeViper : Un modèle vision-langage hybride Mamba-Transformer pour une compréhension efficace des vidéos longues

TimeViper: A Hybrid Mamba-Transformer Vision-Language Model for Efficient Long Video Understanding

November 20, 2025

papers.authors: Boshen Xu, Zihan Xiao, Jiaze Li, Jianzhong Ju, Zhenbo Luo, Jian Luan, Qin Jin

cs.AI

papers.abstract

Nous présentons TimeViper, un modèle hybride vision-langage conçu pour relever les défis de la compréhension de vidéos longues. Le traitement de vidéos longues exige à la fois une architecture de modèle efficace et un mécanisme performant pour gérer des contextes temporels étendus. À cette fin, TimeViper adopte une architecture hybride Mamba-Transformer qui combine l'efficacité des modèles à espace d'états avec l'expressivité des mécanismes d'attention. Grâce à cette conception hybride, nous mettons en évidence le phénomène d'agrégation d'informations vision-texte, où l'information circule progressivement des tokens visuels vers les tokens textuels à travers les couches profondes du LLM, entraînant une redondance importante des tokens visuels. Motivés par cette observation, nous proposons TransV, un module de transfert d'information des tokens qui transfère et compresse les tokens visuels en tokens d'instruction tout en préservant les capacités de compréhension multimodale. Cette conception permet à TimeViper de traiter des vidéos d'une heure dépassant les 10 000 frames. Des expériences approfondies sur plusieurs benchmarks démontrent que TimeViper rivalise avec les modèles de l'état de l'art tout en étendant le nombre de frames. Nous analysons en outre les comportements attentionnels des couches Mamba et Transformer, offrant de nouvelles perspectives sur l'interprétabilité des modèles hybrides. Ce travail représente une première étape vers le développement, l'interprétation et la compression des architectures hybrides Mamba-Transformer.

English

We introduce TimeViper, a hybrid vision-language model designed to tackle challenges of long video understanding. Processing long videos demands both an efficient model architecture and an effective mechanism for handling extended temporal contexts. To this end, TimeViper adopts a hybrid Mamba-Transformer backbone that combines the efficiency of state-space models with the expressivity of attention mechanisms. Through this hybrid design, we reveal the vision-to-text information aggregation phenomenon, where information progressively flows from vision tokens to text tokens across increasing LLM depth, resulting in severe vision token redundancy. Motivated by this observation, we propose TransV, a token information transfer module that transfers and compresses vision tokens into instruction tokens while maintaining multimodal understanding capabilities. This design enables TimeViper to process hour-long videos exceeding 10,000 frames. Extensive experiments across multiple benchmarks demonstrate that TimeViper competes with state-of-the-art models while extending frame numbers. We further analyze attention behaviors of both Mamba and Transformer layers, offering new insights into hybrid model interpretability. This work represents an initial step towards developing, interpreting, and compressing hybrid Mamba-Transformer architectures.