Разгадка парадокса визуального качества в мультимодальных больших языковых моделях

Demystifying the Visual Quality Paradox in Multimodal Large Language Models

June 18, 2025

Авторы: Shuo Xing, Lanqing Guo, Hongyuan Hua, Seoyoung Lee, Peiran Li, Yufei Wang, Zhangyang Wang, Zhengzhong Tu

cs.AI

Аннотация

Современные мультимодальные большие языковые модели (MLLM) демонстрируют выдающиеся результаты на эталонных задачах, связанных с обработкой визуальной и текстовой информации, однако до сих пор мало изучено, как качество входных визуальных данных влияет на их ответы. Означает ли более высокое перцептивное качество изображений лучшее понимание MLLM? Мы проводим первое систематическое исследование, охватывающее ведущие MLLM и набор эталонных задач для обработки визуально-текстовой информации, применяя контролируемые искажения и стилистические изменения к каждому изображению. Удивительно, но мы обнаруживаем парадокс визуального качества: производительность модели, задачи и даже отдельных экземпляров может улучшаться, когда изображения отклоняются от воспринимаемой человеком точности. Готовые решения для восстановления изображений не способны учесть эти идиосинкразические предпочтения. Чтобы устранить этот разрыв, мы представляем метод адаптации на этапе тестирования с учетом визуального качества (VQ-TTT) — легковесный модуль адаптации, который: (1) вставляет обучаемое низкоранговое ядро перед замороженным визуальным кодировщиком для модуляции частотного содержания; и (2) тонко настраивает только поверхностные слои визуального кодировщика с помощью LoRA. VQ-TTT динамически корректирует каждое входное изображение за один прямой проход, согласуя его с предпочтениями модели для конкретной задачи. На всех оцененных MLLM и наборах данных VQ-TTT значительно повышает среднюю точность, не требуя внешних моделей, кэшированных признаков или дополнительных обучающих данных. Эти результаты переопределяют понятие «лучших» визуальных входных данных для MLLM и подчеркивают необходимость адаптивных, а не универсально «чистых» изображений в новую эпоху, когда ИИ становится основным потребителем данных.

English

Recent Multimodal Large Language Models (MLLMs) excel on benchmark vision-language tasks, yet little is known about how input visual quality shapes their responses. Does higher perceptual quality of images already translate to better MLLM understanding? We conduct the first systematic study spanning leading MLLMs and a suite of vision-language benchmarks, applying controlled degradations and stylistic shifts to each image. Surprisingly, we uncover a visual-quality paradox: model, task, and even individual-instance performance can improve when images deviate from human-perceived fidelity. Off-the-shelf restoration pipelines fail to reconcile these idiosyncratic preferences. To close the gap, we introduce Visual-Quality Test-Time Tuning (VQ-TTT)-a lightweight adaptation module that: (1) inserts a learnable, low-rank kernel before the frozen vision encoder to modulate frequency content; and (2) fine-tunes only shallow vision-encoder layers via LoRA. VQ-TTT dynamically adjusts each input image in a single forward pass, aligning it with task-specific model preferences. Across the evaluated MLLMs and all datasets, VQ-TTT lifts significant average accuracy, with no external models, cached features, or extra training data. These findings redefine ``better'' visual inputs for MLLMs and highlight the need for adaptive, rather than universally ``clean'', imagery, in the new era of AI being the main data customer.