Video2LoRA : Internalisation paramétrique de vidéos pour les modèles vision-langage

Résumé

Le traitement de la vidéo dans les modèles vision-langage coûte cher : chaque image occupe des centaines de tokens et le coût d'inférence croît avec chaque image et chaque requête répétée. Nous présentons Video2LoRA, une méthode d'internalisation paramétrique de vidéo. Un hyperréseau percepteur lit les représentations intermédiaires produites couche par couche pendant qu'un VLM figé encode une vidéo, et génère un adaptateur Low-Rank Adaptation (LoRA) en un seul passage avant. Contrairement au fine-tuning LoRA standard, qui nécessite des mises à jour itératives par gradient, Video2LoRA prédit ces poids directement à partir de la vidéo. Entraîné pour SmolVLM2 500M et 2.2B sur le résumé et le sous-titrage de vidéos, Video2LoRA permet au même VLM figé de répondre aux requêtes à l'aide du seul adaptateur, avec zéro token visuel dans son contexte au moment de la requête. Video2LoRA est statistiquement non inférieur et équivalent à l'inférence directe vidéo-dans-le-contexte sur l'ensemble des cinq benchmarks de sous-titrage aux deux échelles de modèle, et sur sept des huit appariements benchmark-échelle de réponse à des questions vidéo. Bien qu'entraîné uniquement sur 12 images à 384 px, il reste stable jusqu'à 1 024 images et 1 024 px, où l'inférence directe vidéo-dans-le-contexte dégénère souvent. Sur l'ensemble de ce balayage, il réduit la charge de tokens visuels au moment de la réponse jusqu'à 1 500 fois et le TTFT des requêtes de 6 à 80 fois, tout en préservant des sorties fidèles à la vidéo. Nous constatons également que des adaptateurs générés indépendamment pour des segments vidéo non chevauchants peuvent composer dans l'espace de rang, ouvrant une voie vers l'internalisation de vidéos longues par segments.

English

Processing video in vision-language models is expensive: each frame occupies hundreds of tokens, and inference cost scales with every frame and every repeated query. We introduce Video2LoRA, a method for parametric video internalization. A perceiver hypernetwork reads the intermediate representations produced layer-by-layer as a frozen VLM encodes a video, and generates a Low-Rank Adaptation (LoRA) adapter in a single forward pass. Unlike standard LoRA fine-tuning, which requires iterative gradient updates, Video2LoRA predicts these weights directly from the video. Trained for SmolVLM2 500M and 2.2B on video summarization and captioning, Video2LoRA enables the same frozen VLM to answer queries from the adapter alone, with zero visual tokens in its context at query time. Video2LoRA is statistically non-inferior and equivalent to direct video-in-context inference across all five captioning benchmarks at both model scales, and across seven of eight video question answering benchmark-scale pairings. Although trained only on 12 frames at 384px, it remains stable up to 1,024 frames and 1024px, where direct video-in-context inference often degenerates. Across this sweep, it reduces answer-time visual-token load by up to 1,500x and query TTFT by 6-80x, while preserving video-faithful outputs. We also find that independently generated adapters for non-overlapping video segments can compose in rank space, suggesting a path toward chunked long-video internalization.