AdaCodec: Un Código Visual Predictivo para MLLMs de Video

Resumen

El video es temporalmente redundante: los fotogramas adyacentes suelen compartir la mayoría de los objetos, el fondo y la disposición. Sin embargo, los modelos de lenguaje grandes multimodales de video existentes (video MLLMs) suelen codificar cada fotograma muestreado como una imagen RGB independiente, lo que provoca que los tokens visuales repitan contenido ya presente en fotogramas anteriores. Esto sugiere una interfaz de video más directa: enviar un fotograma de referencia completo solo cuando la escena no pueda predecirse bien a partir del contexto previo, y en caso contrario transmitir una descripción compacta de los cambios entre fotogramas. Llamamos a esta interfaz un código visual predictivo, y la instanciamos para video MLLMs como AdaCodec. AdaCodec gasta tokens visuales completos en un fotograma de referencia solo cuando su costo predictivo condicional es alto; de lo contrario, codifica cambios entre fotogramas, incluido el movimiento y los residuos de predicción, como tokens P compactos. En los once puntos de referencia, AdaCodec mejora la línea base RGB por fotograma de Qwen3-VL-8B con un presupuesto de tokens visuales equivalente. Incluso con 1/7 del presupuesto, AdaCodec con 32k tokens supera la línea base de 224k en todos los puntos de referencia de video largo; en cinco puntos de referencia de video general, eleva la puntuación promedio mientras reduce sustancialmente el tiempo hasta el primer token de 9.26s a 1.62s.

English

Video is temporally redundant: adjacent frames usually share most objects, background, and layout. Yet existing video multimodal large language models (video MLLMs) usually encode each sampled frame as an independent RGB image, causing visual tokens to repeat content already present in earlier frames. This suggests a more direct video interface: send a full reference frame only when the scene cannot be predicted well from prior context, and otherwise transmit a compact description of inter-frame changes. We call this interface a predictive visual code, and instantiate it for video MLLMs as AdaCodec. AdaCodec spends full visual tokens on a reference frame only when its conditional predictive cost is high; otherwise, it encodes inter-frame changes, including motion and prediction residuals, as compact P-tokens. Across all eleven benchmarks, AdaCodec improves over the Qwen3-VL-8B per-frame RGB baseline at a matched visual-token budget. Even at 1/7 the budget, AdaCodec with 32k tokens surpasses the 224k baseline on all long-video benchmarks; on five general-video benchmarks, it raises the average score while substantially cutting time-to-first-token from 9.26s to 1.62s.