Meten Vision-Language Models Zich? Het Benchmarken van Visueel Meten met MeasureBench

Do Vision-Language Models Measure Up? Benchmarking Visual Measurement Reading with MeasureBench

October 30, 2025

Auteurs: Fenfen Lin, Yesheng Liu, Haiyu Xu, Chen Yue, Zheqi He, Mingxuan Zhao, Miguel Hu Chen, Jiakang Liu, JG Yao, Xi Yang

cs.AI

Samenvatting

Het aflezen van meetinstrumenten is voor mensen moeiteloos en vereist relatief weinig domeinkennis, toch blijkt dit verrassend uitdagend voor huidige vision-language modellen (VLM's), zoals we in een eerste evaluatie vaststellen. In dit werk introduceren we MeasureBench, een benchmark voor het visueel aflezen van metingen, die zowel real-world als gesynthetiseerde afbeeldingen van verschillende soorten meetinstrumenten omvat, samen met een uitbreidbare pijplijn voor datasynthese. Onze pijplijn genereert procedureel een specifiek type meter met controleerbaar visueel uiterlijk, waardoor schaalbare variatie in belangrijke details zoals wijzers, schalen, lettertypes, belichting en rommel mogelijk is. Evaluatie van populaire propriëtaire en open-weight VLM's toont aan dat zelfs de sterkste frontier VLM's over het algemeen moeite hebben met het aflezen van metingen. Een consistente faalmodus is indicatorlokalisatie: modellen kunnen cijfers of labels lezen, maar misidentificeren de sleutelposities van wijzers of uitlijningen, wat leidt tot grote numerieke fouten ondanks plausibele tekstuele redenering. We hebben ook eerste experimenten uitgevoerd met reinforcement learning op synthetische data, en vinden bemoedigende resultaten op de in-domein synthetische subset, maar minder veelbelovende voor real-world afbeeldingen. Onze analyse benadrukt een fundamentele beperking van huidige VLM's in fijnmazige spatiale grounding. We hopen dat deze bron toekomstige vooruitgang kan helpen op het gebied van visueel onderbouwde gecijferdheid en precieze ruimtelijke perceptie van VLM's, om de kloof tussen het herkennen van getallen en het meten van de wereld te overbruggen.

English

Reading measurement instruments is effortless for humans and requires relatively little domain expertise, yet it remains surprisingly challenging for current vision-language models (VLMs) as we find in preliminary evaluation. In this work, we introduce MeasureBench, a benchmark on visual measurement reading covering both real-world and synthesized images of various types of measurements, along with an extensible pipeline for data synthesis. Our pipeline procedurally generates a specified type of gauge with controllable visual appearance, enabling scalable variation in key details such as pointers, scales, fonts, lighting, and clutter. Evaluation on popular proprietary and open-weight VLMs shows that even the strongest frontier VLMs struggle measurement reading in general. A consistent failure mode is indicator localization: models can read digits or labels but misidentify the key positions of pointers or alignments, leading to big numeric errors despite plausible textual reasoning. We have also conducted preliminary experiments with reinforcement learning over synthetic data, and find encouraging results on in-domain synthetic subset but less promising for real-world images. Our analysis highlights a fundamental limitation of current VLMs in fine-grained spatial grounding. We hope this resource can help future advances on visually grounded numeracy and precise spatial perception of VLMs, bridging the gap between recognizing numbers and measuring the world.