Desmitificando la paradoja de la calidad visual en los modelos de lenguaje multimodal de gran escala

Resumen

Los recientes Modelos de Lenguaje Multimodales de Gran Escala (MLLMs, por sus siglas en inglés) destacan en tareas de referencia de visión y lenguaje, pero se sabe poco sobre cómo la calidad visual de las entradas influye en sus respuestas. ¿Se traduce una mayor calidad perceptual de las imágenes en una mejor comprensión por parte de los MLLMs? Realizamos el primer estudio sistemático que abarca los principales MLLMs y un conjunto de benchmarks de visión y lenguaje, aplicando degradaciones controladas y cambios estilísticos a cada imagen. Sorprendentemente, descubrimos una paradoja de calidad visual: el rendimiento del modelo, la tarea e incluso instancias individuales pueden mejorar cuando las imágenes se desvían de la fidelidad percibida por los humanos. Las pipelines de restauración estándar no logran reconciliar estas preferencias idiosincrásicas. Para cerrar esta brecha, introducimos el Ajuste en Tiempo de Prueba de Calidad Visual (VQ-TTT, por sus siglas en inglés), un módulo de adaptación ligero que: (1) inserta un núcleo de bajo rango y aprendible antes del codificador visual congelado para modular el contenido de frecuencia; y (2) ajusta finamente solo las capas superficiales del codificador visual mediante LoRA. VQ-TTT ajusta dinámicamente cada imagen de entrada en un único paso hacia adelante, alineándola con las preferencias específicas del modelo para la tarea. En todos los MLLMs evaluados y en todos los conjuntos de datos, VQ-TTT aumenta significativamente la precisión promedio, sin necesidad de modelos externos, características almacenadas en caché o datos de entrenamiento adicionales. Estos hallazgos redefinen lo que significa una entrada visual "mejor" para los MLLMs y resaltan la necesidad de imágenes adaptativas, en lugar de universalmente "limpias", en esta nueva era donde la IA es el principal consumidor de datos.

English

Recent Multimodal Large Language Models (MLLMs) excel on benchmark vision-language tasks, yet little is known about how input visual quality shapes their responses. Does higher perceptual quality of images already translate to better MLLM understanding? We conduct the first systematic study spanning leading MLLMs and a suite of vision-language benchmarks, applying controlled degradations and stylistic shifts to each image. Surprisingly, we uncover a visual-quality paradox: model, task, and even individual-instance performance can improve when images deviate from human-perceived fidelity. Off-the-shelf restoration pipelines fail to reconcile these idiosyncratic preferences. To close the gap, we introduce Visual-Quality Test-Time Tuning (VQ-TTT)-a lightweight adaptation module that: (1) inserts a learnable, low-rank kernel before the frozen vision encoder to modulate frequency content; and (2) fine-tunes only shallow vision-encoder layers via LoRA. VQ-TTT dynamically adjusts each input image in a single forward pass, aligning it with task-specific model preferences. Across the evaluated MLLMs and all datasets, VQ-TTT lifts significant average accuracy, with no external models, cached features, or extra training data. These findings redefine ``better'' visual inputs for MLLMs and highlight the need for adaptive, rather than universally ``clean'', imagery, in the new era of AI being the main data customer.

Desmitificando la paradoja de la calidad visual en los modelos de lenguaje multimodal de gran escala

Demystifying the Visual Quality Paradox in Multimodal Large Language Models

Resumen

Support