TimeViper: Гибридная Mamba-Transformer модель для анализа зрения и языка с эффективным пониманием длинных видео

TimeViper: A Hybrid Mamba-Transformer Vision-Language Model for Efficient Long Video Understanding

November 20, 2025

Авторы: Boshen Xu, Zihan Xiao, Jiaze Li, Jianzhong Ju, Zhenbo Luo, Jian Luan, Qin Jin

cs.AI

Аннотация

Мы представляем TimeViper — гибридную визуально-языковую модель, предназначенную для решения задач понимания длинных видео. Обработка длинных видео требует как эффективной архитектуры модели, так и действенного механизма работы с протяженными временными контекстами. Для этой цели TimeViper использует гибридный бэкбон Mamba-Transformer, сочетающий эффективность моделей пространства состояний с выразительностью механизмов внимания. Благодаря этой гибридной конструкции мы выявили феномен агрегации информации от визуальных токенов к текстовым, при котором информация постепенно перетекает от визуальных токенов к текстовым с увеличением глубины большой языковой модели, что приводит к значительной избыточности визуальных токенов. Руководствуясь этим наблюдением, мы предлагаем TransV — модуль передачи информации токенов, который переносит и сжимает визуальные токены в инструкционные токены, сохраняя при этом возможности мультимодального понимания. Такая конструкция позволяет TimeViper обрабатывать часовые видео продолжительностью свыше 10 000 кадров. Многочисленные эксперименты на различных бенчмарках демонстрируют, что TimeViper конкурирует с передовыми моделями, одновременно увеличивая количество обрабатываемых кадров. Мы также анализируем поведение внимания в слоях Mamba и Transformer, предлагая новые insights для интерпретируемости гибридных моделей. Данная работа представляет собой начальный шаг в направлении разработки, интерпретации и сжатия гибридных архитектур Mamba-Transformer.

English

We introduce TimeViper, a hybrid vision-language model designed to tackle challenges of long video understanding. Processing long videos demands both an efficient model architecture and an effective mechanism for handling extended temporal contexts. To this end, TimeViper adopts a hybrid Mamba-Transformer backbone that combines the efficiency of state-space models with the expressivity of attention mechanisms. Through this hybrid design, we reveal the vision-to-text information aggregation phenomenon, where information progressively flows from vision tokens to text tokens across increasing LLM depth, resulting in severe vision token redundancy. Motivated by this observation, we propose TransV, a token information transfer module that transfers and compresses vision tokens into instruction tokens while maintaining multimodal understanding capabilities. This design enables TimeViper to process hour-long videos exceeding 10,000 frames. Extensive experiments across multiple benchmarks demonstrate that TimeViper competes with state-of-the-art models while extending frame numbers. We further analyze attention behaviors of both Mamba and Transformer layers, offering new insights into hybrid model interpretability. This work represents an initial step towards developing, interpreting, and compressing hybrid Mamba-Transformer architectures.