I Modelli Visione-Linguaggio Sono All'Altezza? Benchmarking della Lettura di Misurazioni Visive con MeasureBench

Do Vision-Language Models Measure Up? Benchmarking Visual Measurement Reading with MeasureBench

October 30, 2025

Autori: Fenfen Lin, Yesheng Liu, Haiyu Xu, Chen Yue, Zheqi He, Mingxuan Zhao, Miguel Hu Chen, Jiakang Liu, JG Yao, Xi Yang

cs.AI

Abstract

La lettura degli strumenti di misura risulta intuitiva per gli esseri umani e richiede competenze di dominio relativamente limitate, eppure si rivela sorprendentemente complessa per gli attuali modelli visione-linguaggio (VLM), come emerso dalla nostra valutazione preliminare. In questo lavoro presentiamo MeasureBench, un benchmark per la lettura visiva delle misurazioni che include sia immagini reali che sintetizzate di vari tipi di strumenti, accompagnato da una pipeline estensibile per la sintesi dei dati. La nostra pipeline genera proceduralmente un tipo specifico di quadrante con aspetti visivi controllabili, consentendo variazioni scalabili in dettagli chiave come indicatori, scale, caratteri tipografici, illuminazione ed elementi di disturbo. La valutazione su VLM popolari (proprietari e open-weight) dimostra che persino i modelli all'avanguardia più potenti incontrano difficoltà generalizzate nella lettura delle misurazioni. Una modalità di errore ricorrente è la localizzazione degli indicatori: i modelli sanno leggere cifre o etichette, ma identificano erroneamente le posizioni cruciali degli indicatori o dei allineamenti, portando a grandi errori numerici nonostante ragionamenti testuali plausibili. Abbiamo inoltre condotto esperimenti preliminari con apprendimento per rinforzo su dati sintetici, riscontrando risultati incoraggianti sul sottoinsieme sintetico in-domain, ma meno promettenti per le immagini reali. La nostra analisi evidenzia una limitazione fondamentale degli attuali VLM nel grounding spaziale di precisione. Speriamo che questa risorsa possa favorire futuri progressi nella numeracy visualmente ancorata e nella percezione spaziale precisa dei VLM, colmando il divario tra il riconoscere numeri e il misurare il mondo.

English

Reading measurement instruments is effortless for humans and requires relatively little domain expertise, yet it remains surprisingly challenging for current vision-language models (VLMs) as we find in preliminary evaluation. In this work, we introduce MeasureBench, a benchmark on visual measurement reading covering both real-world and synthesized images of various types of measurements, along with an extensible pipeline for data synthesis. Our pipeline procedurally generates a specified type of gauge with controllable visual appearance, enabling scalable variation in key details such as pointers, scales, fonts, lighting, and clutter. Evaluation on popular proprietary and open-weight VLMs shows that even the strongest frontier VLMs struggle measurement reading in general. A consistent failure mode is indicator localization: models can read digits or labels but misidentify the key positions of pointers or alignments, leading to big numeric errors despite plausible textual reasoning. We have also conducted preliminary experiments with reinforcement learning over synthetic data, and find encouraging results on in-domain synthetic subset but less promising for real-world images. Our analysis highlights a fundamental limitation of current VLMs in fine-grained spatial grounding. We hope this resource can help future advances on visually grounded numeracy and precise spatial perception of VLMs, bridging the gap between recognizing numbers and measuring the world.