Video2LoRA: Internalización Paramétrica de Video para Modelos de Visión y Lenguaje

Resumen

El procesamiento de video en modelos de visión-lenguaje es costoso: cada fotograma ocupa cientos de tokens, y el costo de inferencia escala con cada fotograma y cada consulta repetida. Presentamos Video2LoRA, un método para la internalización paramétrica de video. Una hiperred perceptiva lee las representaciones intermedias producidas capa por capa mientras un VLM congelado codifica un video, y genera un adaptador de Adaptación de Bajo Rango (LoRA) en una sola pasada hacia adelante. A diferencia del ajuste fino estándar de LoRA, que requiere actualizaciones iterativas de gradiente, Video2LoRA predice estos pesos directamente a partir del video. Entrenado para SmolVLM2 de 500M y 2.2B en resumen y descripción de videos, Video2LoRA permite que el mismo VLM congelado responda consultas únicamente con el adaptador, sin tokens visuales en su contexto en el momento de la consulta. Video2LoRA es estadísticamente no inferior y equivalente a la inferencia directa de video en contexto en los cinco puntos de referencia de descripción de video en ambas escalas de modelo, y en siete de ocho emparejamientos de escala y punto de referencia de respuesta a preguntas sobre video. Aunque entrenado solo con 12 fotogramas a 384px, permanece estable hasta 1,024 fotogramas y 1024px, donde la inferencia directa de video en contexto a menudo se degrada. A lo largo de este barrido, reduce la carga de tokens visuales en el tiempo de respuesta hasta 1,500 veces y el TTFT de consulta entre 6 y 80 veces, mientras preserva resultados fieles al video. También encontramos que adaptadores generados de forma independiente para segmentos de video no superpuestos pueden componerse en el espacio de rango, lo que sugiere un camino hacia la internalización fragmentada de videos largos.

English

Processing video in vision-language models is expensive: each frame occupies hundreds of tokens, and inference cost scales with every frame and every repeated query. We introduce Video2LoRA, a method for parametric video internalization. A perceiver hypernetwork reads the intermediate representations produced layer-by-layer as a frozen VLM encodes a video, and generates a Low-Rank Adaptation (LoRA) adapter in a single forward pass. Unlike standard LoRA fine-tuning, which requires iterative gradient updates, Video2LoRA predicts these weights directly from the video. Trained for SmolVLM2 500M and 2.2B on video summarization and captioning, Video2LoRA enables the same frozen VLM to answer queries from the adapter alone, with zero visual tokens in its context at query time. Video2LoRA is statistically non-inferior and equivalent to direct video-in-context inference across all five captioning benchmarks at both model scales, and across seven of eight video question answering benchmark-scale pairings. Although trained only on 12 frames at 384px, it remains stable up to 1,024 frames and 1024px, where direct video-in-context inference often degenerates. Across this sweep, it reduces answer-time visual-token load by up to 1,500x and query TTFT by 6-80x, while preserving video-faithful outputs. We also find that independently generated adapters for non-overlapping video segments can compose in rank space, suggesting a path toward chunked long-video internalization.