Video2LoRA: 視覚言語モデルのためのパラメトリック動画内在化

要旨

視覚言語モデルにおける動画処理はコストが高い。各フレームは数百のトークンを占有し、推論コストはフレーム数とクエリの繰り返しごとに増大する。本稿では、パラメトリック動画内在化手法であるVideo2LoRAを提案する。パーシーバーハイパーネットワークが、凍結されたVLMが動画をエンコードする際に層ごとに生成される中間表現を読み取り、単一のフォワードパスでLow-Rank Adaptation (LoRA)アダプタを生成する。反復的な勾配更新を必要とする標準的なLoRAファインチューニングとは異なり、Video2LoRAは動画から直接これらの重みを予測する。 SmolVLM2 500Mおよび2.2B向けに動画要約とキャプション生成で学習されたVideo2LoRAは、同じ凍結VLMがクエリ時にアダプタのみからクエリに回答することを可能にし、そのコンテキスト内に視覚トークンはゼロとなる。Video2LoRAは統計的に劣っておらず、両方のモデルスケールにおける全5つのキャプションベンチマーク、および8つの動画質問応答ベンチマーク・スケールペアリングのうち7つにおいて、直接的な動画インコンテキスト推論と同等である。 384pxで12フレームのみで学習されたにもかかわらず、1,024フレームおよび1024pxまで安定して動作し、直接的な動画インコンテキスト推論はこの領域でしばしば性能が低下する。このスイープ全体において、回答時の視覚トークン負荷を最大1,500倍、クエリTTFTを6〜80倍削減しつつ、動画に忠実な出力を維持する。また、重複しない動画セグメントに対して独立に生成されたアダプタがランク空間で合成可能であることも発見しており、これはチャンク化された長尺動画内在化への道筋を示唆する。

English

Processing video in vision-language models is expensive: each frame occupies hundreds of tokens, and inference cost scales with every frame and every repeated query. We introduce Video2LoRA, a method for parametric video internalization. A perceiver hypernetwork reads the intermediate representations produced layer-by-layer as a frozen VLM encodes a video, and generates a Low-Rank Adaptation (LoRA) adapter in a single forward pass. Unlike standard LoRA fine-tuning, which requires iterative gradient updates, Video2LoRA predicts these weights directly from the video. Trained for SmolVLM2 500M and 2.2B on video summarization and captioning, Video2LoRA enables the same frozen VLM to answer queries from the adapter alone, with zero visual tokens in its context at query time. Video2LoRA is statistically non-inferior and equivalent to direct video-in-context inference across all five captioning benchmarks at both model scales, and across seven of eight video question answering benchmark-scale pairings. Although trained only on 12 frames at 384px, it remains stable up to 1,024 frames and 1024px, where direct video-in-context inference often degenerates. Across this sweep, it reduces answer-time visual-token load by up to 1,500x and query TTFT by 6-80x, while preserving video-faithful outputs. We also find that independently generated adapters for non-overlapping video segments can compose in rank space, suggesting a path toward chunked long-video internalization.