Video2LoRA: Parametrische Video-Internierung für Vision-Language-Modelle

Zusammenfassung

Die Verarbeitung von Videos in Vision-Language-Modellen ist aufwändig: Jeder Frame belegt Hunderte von Tokens, und die Inferenzkosten skalieren mit jedem Frame und jeder wiederholten Abfrage. Wir stellen Video2LoRA vor, eine Methode zur parametrischen Video-Internalisierung. Ein Perceiver-Hypernetzwerk liest die schichtweise erzeugten Zwischenrepräsentationen, während ein eingefrorenes VLM ein Video kodiert, und generiert in einem einzigen Vorwärtsdurchlauf einen Low-Rank Adaptation (LoRA)-Adapter. Im Gegensatz zum standardmäßigen LoRA-Feintuning, das iterative Gradientenaktualisierungen erfordert, sagt Video2LoRA diese Gewichte direkt aus dem Video vorher. Trainiert für SmolVLM2 500M und 2.2B auf Videozusammenfassung und -beschriftung, ermöglicht Video2LoRA demselben eingefrorenen VLM, Abfragen allein aus dem Adapter zu beantworten, wobei zum Zeitpunkt der Abfrage null visuelle Tokens in seinem Kontext vorhanden sind. Video2LoRA ist statistisch nicht unterlegen und äquivalent zur direkten Video-im-Kontext-Inferenz über alle fünf Beschriftungs-Benchmarks bei beiden Modellgrößen sowie über sieben von acht Benchmark-Größen-Paarungen bei der Video-Fragebeantwortung. Obwohl nur auf 12 Frames bei 384px trainiert, bleibt es stabil bis zu 1.024 Frames und 1024px, wo die direkte Video-im-Kontext-Inferenz oft degeneriert. Über diesen gesamten Bereich reduziert es die visuelle Tokenlast zur Antwortzeit um bis zu 1.500-fach und die Abfrage-TTFT um das 6- bis 80-fache, während videotreue Ausgaben erhalten bleiben. Wir stellen außerdem fest, dass unabhängig generierte Adapter für nicht überlappende Videosegmente im Rangraum komponiert werden können, was einen Weg zur segmentierten Langvideo-Internalisierung aufzeigt.

English

Processing video in vision-language models is expensive: each frame occupies hundreds of tokens, and inference cost scales with every frame and every repeated query. We introduce Video2LoRA, a method for parametric video internalization. A perceiver hypernetwork reads the intermediate representations produced layer-by-layer as a frozen VLM encodes a video, and generates a Low-Rank Adaptation (LoRA) adapter in a single forward pass. Unlike standard LoRA fine-tuning, which requires iterative gradient updates, Video2LoRA predicts these weights directly from the video. Trained for SmolVLM2 500M and 2.2B on video summarization and captioning, Video2LoRA enables the same frozen VLM to answer queries from the adapter alone, with zero visual tokens in its context at query time. Video2LoRA is statistically non-inferior and equivalent to direct video-in-context inference across all five captioning benchmarks at both model scales, and across seven of eight video question answering benchmark-scale pairings. Although trained only on 12 frames at 384px, it remains stable up to 1,024 frames and 1024px, where direct video-in-context inference often degenerates. Across this sweep, it reduces answer-time visual-token load by up to 1,500x and query TTFT by 6-80x, while preserving video-faithful outputs. We also find that independently generated adapters for non-overlapping video segments can compose in rank space, suggesting a path toward chunked long-video internalization.