TimeViper: Een hybride Mamba-Transformer Vision-Language Model voor efficiënt begrip van lange video's

TimeViper: A Hybrid Mamba-Transformer Vision-Language Model for Efficient Long Video Understanding

November 20, 2025

Auteurs: Boshen Xu, Zihan Xiao, Jiaze Li, Jianzhong Ju, Zhenbo Luo, Jian Luan, Qin Jin

cs.AI

Samenvatting

Wij introduceren TimeViper, een hybride vision-language model ontworpen om de uitdagingen van langdurige videobegrip aan te pakken. Het verwerken van lange video's vereist zowel een efficiënte modelarchitectuur als een effectief mechanisme voor het hanteren van uitgebreide temporele contexten. Hiertoe adopteert TimeViper een hybride Mamba-Transformer-backbone die de efficiëntie van state-space modellen combineert met de expressiviteit van attention-mechanismen. Door dit hybride ontwerp onthullen we het *vision-to-text* informatie-aggregatiefenomeen, waarbij informatie progressief stroomt van vision-tokens naar tekst-tokens over toenemende LLM-diepte, wat leidt tot ernstige redundantie van vision-tokens. Gemotiveerd door deze observatie stellen we TransV voor, een token-informatie-transfermodule die vision-tokens overdraagt en comprimeert naar instructie-tokens, terwijl multimodale begripscapaciteiten behouden blijven. Dit ontwerp stelt TimeViper in staat om urenlange video's van meer dan 10.000 frames te verwerken. Uitgebreide experimenten over meerdere benchmarks tonen aan dat TimeViper kan concurreren met state-of-the-art modellen, terwijl het het aantal verwerkte frames significant uitbreidt. Wij analyseren verder de aandachtspatronen van zowel Mamba- als Transformer-lagen, wat nieuwe inzichten biedt in de interpreteerbaarheid van hybride modellen. Dit werk vertegenwoordigt een eerste stap in de richting van het ontwikkelen, interpreteren en comprimeren van hybride Mamba-Transformer-architecturen.

English

We introduce TimeViper, a hybrid vision-language model designed to tackle challenges of long video understanding. Processing long videos demands both an efficient model architecture and an effective mechanism for handling extended temporal contexts. To this end, TimeViper adopts a hybrid Mamba-Transformer backbone that combines the efficiency of state-space models with the expressivity of attention mechanisms. Through this hybrid design, we reveal the vision-to-text information aggregation phenomenon, where information progressively flows from vision tokens to text tokens across increasing LLM depth, resulting in severe vision token redundancy. Motivated by this observation, we propose TransV, a token information transfer module that transfers and compresses vision tokens into instruction tokens while maintaining multimodal understanding capabilities. This design enables TimeViper to process hour-long videos exceeding 10,000 frames. Extensive experiments across multiple benchmarks demonstrate that TimeViper competes with state-of-the-art models while extending frame numbers. We further analyze attention behaviors of both Mamba and Transformer layers, offering new insights into hybrid model interpretability. This work represents an initial step towards developing, interpreting, and compressing hybrid Mamba-Transformer architectures.