Het ontrafelen van het visuele kwaliteitparadox in multimodale grote taalmodellen

Samenvatting

Recente Multimodale Large Language Models (MLLMs) presteren uitstekend op benchmarktaken voor visie en taal, maar er is weinig bekend over hoe de visuele kwaliteit van de input hun reacties beïnvloedt. Vertaalt een hogere perceptuele kwaliteit van afbeeldingen zich al naar een beter begrip door MLLMs? We voeren de eerste systematische studie uit die toonaangevende MLLMs en een reeks vision-language benchmarks omvat, waarbij we gecontroleerde degradaties en stilistische verschuivingen op elke afbeelding toepassen. Verrassend genoeg ontdekken we een visuele-kwaliteit paradox: de prestaties van het model, de taak en zelfs individuele instanties kunnen verbeteren wanneer afbeeldingen afwijken van de door mensen waargenomen getrouwheid. Kant-en-klare herstelpipelines slagen er niet in om deze idiosyncratische voorkeuren te verzoenen. Om deze kloof te dichten, introduceren we Visual-Quality Test-Time Tuning (VQ-TTT) – een lichtgewicht aanpassingsmodule die: (1) een leerbare, laag-rang kernel invoegt vóór de bevroren visuele encoder om de frequentie-inhoud te moduleren; en (2) alleen de ondiepe lagen van de visuele encoder fijnafstelt via LoRA. VQ-TTT past elke invoerafbeelding dynamisch aan in een enkele voorwaartse doorloop, waardoor deze wordt afgestemd op de taakspecifieke voorkeuren van het model. Over alle geëvalueerde MLLMs en datasets heen, verhoogt VQ-TTT de gemiddelde nauwkeurigheid aanzienlijk, zonder externe modellen, gecachte features of extra trainingsdata. Deze bevindingen herdefiniëren wat "betere" visuele inputs voor MLLMs zijn en benadrukken de noodzaak van adaptieve, in plaats van universeel "schone", beeldmateriaal in het nieuwe tijdperk waarin AI de belangrijkste data-consument is.

English

Recent Multimodal Large Language Models (MLLMs) excel on benchmark vision-language tasks, yet little is known about how input visual quality shapes their responses. Does higher perceptual quality of images already translate to better MLLM understanding? We conduct the first systematic study spanning leading MLLMs and a suite of vision-language benchmarks, applying controlled degradations and stylistic shifts to each image. Surprisingly, we uncover a visual-quality paradox: model, task, and even individual-instance performance can improve when images deviate from human-perceived fidelity. Off-the-shelf restoration pipelines fail to reconcile these idiosyncratic preferences. To close the gap, we introduce Visual-Quality Test-Time Tuning (VQ-TTT)-a lightweight adaptation module that: (1) inserts a learnable, low-rank kernel before the frozen vision encoder to modulate frequency content; and (2) fine-tunes only shallow vision-encoder layers via LoRA. VQ-TTT dynamically adjusts each input image in a single forward pass, aligning it with task-specific model preferences. Across the evaluated MLLMs and all datasets, VQ-TTT lifts significant average accuracy, with no external models, cached features, or extra training data. These findings redefine ``better'' visual inputs for MLLMs and highlight the need for adaptive, rather than universally ``clean'', imagery, in the new era of AI being the main data customer.

Het ontrafelen van het visuele kwaliteitparadox in multimodale grote taalmodellen

Demystifying the Visual Quality Paradox in Multimodal Large Language Models

Samenvatting

Support