Messen Vision-Language-Modelle wirklich? Benchmarking des visuellen Messwert-Lesens mit MeasureBench

Do Vision-Language Models Measure Up? Benchmarking Visual Measurement Reading with MeasureBench

October 30, 2025

papers.authors: Fenfen Lin, Yesheng Liu, Haiyu Xu, Chen Yue, Zheqi He, Mingxuan Zhao, Miguel Hu Chen, Jiakang Liu, JG Yao, Xi Yang

cs.AI

papers.abstract

Das Ablesen von Messinstrumenten ist für Menschen mühelos und erfordert relativ wenig Domänenwissen, stellt jedoch für aktuelle Vision-Language-Modelle (VLMs) überraschend schwierig dar, wie wir in Vorabauswertungen feststellen. In dieser Arbeit stellen wir MeasureBench vor, einen Benchmark für visuelles Messablesen, der sowohl reale als auch synthetisierte Bilder verschiedener Messarten abdeckt, zusammen mit einer erweiterbaren Pipeline zur Datensynthese. Unsere Pipeline generiert prozedural einen bestimmten Messgerätetyp mit kontrollierbarem visuellen Erscheinungsbild, was skalierbare Variationen in Schlüsseldetails wie Zeigern, Skalen, Schriftarten, Beleuchtung und Hintergrundunordnung ermöglicht. Die Evaluierung populärer proprietärer und Open-Weight-VLMs zeigt, dass selbst die leistungsstärksten Frontier-Modelle generell mit dem Messablesen kämpfen. Ein konsistentes Fehlermuster ist die Zeigerlokalisierung: Modelle können Ziffern oder Beschriftungen lesen, aber die Schlüsselpositionen von Zeigern oder Ausrichtungen falsch identifizieren, was zu großen numerischen Fehlern trotz plausibler textueller Argumentation führt. Wir haben zudem vorläufige Experimente mit Reinforcement Learning auf synthetischen Daten durchgeführt und ermutigende Ergebnisse auf der synthetischen Teilstichprobe, aber weniger vielversprechende für reale Bilder festgestellt. Unsere Analyse unterstreicht eine fundamentale Limitation aktueller VLMs in feinkörniger räumlicher Verankerung. Wir hoffen, dass diese Ressource zukünftige Fortschritte in visuell verankerter Numerik und präziser räumlicher Wahrnehmung von VLMs unterstützt, um die Lücke zwischen Zahlenerkennung und Weltvermessung zu schließen.

English

Reading measurement instruments is effortless for humans and requires relatively little domain expertise, yet it remains surprisingly challenging for current vision-language models (VLMs) as we find in preliminary evaluation. In this work, we introduce MeasureBench, a benchmark on visual measurement reading covering both real-world and synthesized images of various types of measurements, along with an extensible pipeline for data synthesis. Our pipeline procedurally generates a specified type of gauge with controllable visual appearance, enabling scalable variation in key details such as pointers, scales, fonts, lighting, and clutter. Evaluation on popular proprietary and open-weight VLMs shows that even the strongest frontier VLMs struggle measurement reading in general. A consistent failure mode is indicator localization: models can read digits or labels but misidentify the key positions of pointers or alignments, leading to big numeric errors despite plausible textual reasoning. We have also conducted preliminary experiments with reinforcement learning over synthetic data, and find encouraging results on in-domain synthetic subset but less promising for real-world images. Our analysis highlights a fundamental limitation of current VLMs in fine-grained spatial grounding. We hope this resource can help future advances on visually grounded numeracy and precise spatial perception of VLMs, bridging the gap between recognizing numbers and measuring the world.