Video2LoRA: Параметрическая интернализация видео для визуально-языковых моделей

Аннотация

Обработка видео в моделях «зрение-язык» (VLM) является ресурсоёмкой: каждый кадр занимает сотни токенов, а стоимость инференса растёт с каждым кадром и каждым повторным запросом. Мы представляем Video2LoRA — метод параметрической интернализации видео. Персептивная гиперсеть считывает промежуточные представления, формируемые послойно при кодировании видео замороженной VLM, и за один прямой проход генерирует адаптер типа Low-Rank Adaptation (LoRA). В отличие от стандартной тонкой настройки LoRA, требующей итеративных градиентных обновлений, Video2LoRA предсказывает эти веса непосредственно по видео. Обученная для SmolVLM2 500M и 2.2B на задачах суммирования видео и создания подписей, Video2LoRA позволяет той же замороженной VLM отвечать на запросы, используя только адаптер, без каких-либо визуальных токенов в контексте в момент запроса. Video2LoRA статистически не уступает и эквивалентна прямому выводу с видео в контексте по всем пяти бенчмаркам подписей при обеих масштабах модели, а также по семи из восьми комбинаций бенчмарков и масштабов для ответов на вопросы по видео. Хотя модель обучена только на 12 кадрах разрешением 384px, она сохраняет стабильность вплоть до 1024 кадров и 1024px, где прямой вывод с видео в контексте часто вырождается. На всём диапазоне параметров Video2LoRA сокращает нагрузку визуальных токенов во время ответа до 1500 раз, а время до первого токена (TTFT) запроса — в 6–80 раз, сохраняя при этом точность по отношению к видео. Мы также обнаружили, что независимо сгенерированные адаптеры для непересекающихся сегментов видео могут компоноваться в ранговом пространстве, что указывает на путь к интернализации длинных видео по частям.

English

Processing video in vision-language models is expensive: each frame occupies hundreds of tokens, and inference cost scales with every frame and every repeated query. We introduce Video2LoRA, a method for parametric video internalization. A perceiver hypernetwork reads the intermediate representations produced layer-by-layer as a frozen VLM encodes a video, and generates a Low-Rank Adaptation (LoRA) adapter in a single forward pass. Unlike standard LoRA fine-tuning, which requires iterative gradient updates, Video2LoRA predicts these weights directly from the video. Trained for SmolVLM2 500M and 2.2B on video summarization and captioning, Video2LoRA enables the same frozen VLM to answer queries from the adapter alone, with zero visual tokens in its context at query time. Video2LoRA is statistically non-inferior and equivalent to direct video-in-context inference across all five captioning benchmarks at both model scales, and across seven of eight video question answering benchmark-scale pairings. Although trained only on 12 frames at 384px, it remains stable up to 1,024 frames and 1024px, where direct video-in-context inference often degenerates. Across this sweep, it reduces answer-time visual-token load by up to 1,500x and query TTFT by 6-80x, while preserving video-faithful outputs. We also find that independently generated adapters for non-overlapping video segments can compose in rank space, suggesting a path toward chunked long-video internalization.