Cornici Colorate: La Formulazione delle Domande Acceca i Modelli Visione-Linguaggio

Tinted Frames: Question Framing Blinds Vision-Language Models

March 19, 2026

Autori: Wan-Cyuan Fan, Jiayun Luo, Declan Kutscher, Leonid Sigal, Ritwik Gupta

cs.AI

Abstract

I modelli visione-linguaggio (VLM) si è dimostrato che siano ciechi, spesso sottoutilizzando i loro input visivi anche in compiti che richiedono ragionamento visivo. In questo lavoro, dimostriamo che i VLM sono selettivamente ciechi. Essi modulano la quantità di attenzione applicata agli input visivi in base all'inquadramento linguistico, anche quando formulazioni alternative richiedono un ragionamento visivo identico. Utilizzando l'attenzione visiva come sonda, quantifichiamo come l'inquadramento alteri sia la quantità che la distribuzione dell'attenzione sull'immagine. Inquadramenti vincolati, come scelta multipla e sì/no, inducono un'attenzione sostanzialmente inferiore al contesto dell'immagine rispetto a quelli aperti, riducono la concentrazione sulle regioni rilevanti per il compito e spostano l'attenzione verso token non informativi. Dimostriamo inoltre che questa errata allocazione dell'attenzione è la causa principale del degrado dell'accuratezza e dell'incoerenza tra diverse formulazioni. Basandoci su questa intuizione meccanicistica, introduciamo un metodo leggero di prompt-tuning che utilizza token apprendibili per incoraggiare i modelli robusti di attenzione ancorati al visivo osservati in contesti aperti, migliorando l'ancoraggio visivo e le prestazioni attraverso le diverse formulazioni.

English

Vision-Language Models (VLMs) have been shown to be blind, often underutilizing their visual inputs even on tasks that require visual reasoning. In this work, we demonstrate that VLMs are selectively blind. They modulate the amount of attention applied to visual inputs based on linguistic framing even when alternative framings demand identical visual reasoning. Using visual attention as a probe, we quantify how framing alters both the amount and distribution of attention over the image. Constrained framings, such as multiple choice and yes/no, induce substantially lower attention to image context compared to open-ended, reduce focus on task-relevant regions, and shift attention towards uninformative tokens. We further demonstrate that this attention misallocation is the principal cause of degraded accuracy and cross-framing inconsistency. Building on this mechanistic insight, we introduce a lightweight prompt-tuning method using learnable tokens that encourages the robust, visually grounded attention patterns observed in open-ended settings, improving visual grounding and improving performance across framings.