Les modèles vision-langue sont-ils à la hauteur ? Évaluation de la lecture de mesures visuelles avec MeasureBench
Do Vision-Language Models Measure Up? Benchmarking Visual Measurement Reading with MeasureBench
October 30, 2025
papers.authors: Fenfen Lin, Yesheng Liu, Haiyu Xu, Chen Yue, Zheqi He, Mingxuan Zhao, Miguel Hu Chen, Jiakang Liu, JG Yao, Xi Yang
cs.AI
papers.abstract
La lecture des instruments de mesure est un exercice aisé pour les humains et nécessite relativement peu d'expertise métier, mais elle reste étonnamment difficile pour les modèles vision-langage (VLM) actuels, comme nous l'avons constaté lors d'une évaluation préliminaire. Dans ce travail, nous présentons MeasureBench, un benchmark pour l'évaluation de la lecture visuelle de mesures, couvrant à la fois des images réelles et des images synthétisées de divers types d'instruments, ainsi qu'un pipeline extensible pour la synthèse de données. Notre pipeline génère de manière procédurale un type de cadran spécifié avec une apparence visuelle contrôlable, permettant une variation scalable de détails clés tels que les aiguilles, les échelles, les polices, l'éclairage et l'encombrement. L'évaluation sur les VLM populaires, propriétaires et à poids ouvert, montre que même les VLM de pointe les plus performants éprouvent des difficultés générales avec la lecture des mesures. Un mode d'échec récurrent est la localisation des indicateurs : les modèles peuvent lire les chiffres ou les étiquettes mais identifient incorrectement les positions clés des aiguilles ou des alignements, ce qui entraîne de grandes erreurs numériques malgré un raisonnement textuel plausible. Nous avons également mené des expériences préliminaires avec de l'apprentissage par renforcement sur des données synthétiques, et obtenons des résultats encourageants sur le sous-ensemble synthétique en domaine contraint, mais moins prometteurs pour les images du monde réel. Notre analyse met en lumière une limitation fondamentale des VLM actuels dans l'ancrage spatial à granularité fine. Nous espérons que cette ressource pourra contribuer aux futures avancées sur la numératie visuellement ancrée et la perception spatiale précise des VLM, en comblant l'écart entre la reconnaissance des chiffres et la mesure du monde.
English
Reading measurement instruments is effortless for humans and requires
relatively little domain expertise, yet it remains surprisingly challenging for
current vision-language models (VLMs) as we find in preliminary evaluation. In
this work, we introduce MeasureBench, a benchmark on visual measurement reading
covering both real-world and synthesized images of various types of
measurements, along with an extensible pipeline for data synthesis. Our
pipeline procedurally generates a specified type of gauge with controllable
visual appearance, enabling scalable variation in key details such as pointers,
scales, fonts, lighting, and clutter. Evaluation on popular proprietary and
open-weight VLMs shows that even the strongest frontier VLMs struggle
measurement reading in general. A consistent failure mode is indicator
localization: models can read digits or labels but misidentify the key
positions of pointers or alignments, leading to big numeric errors despite
plausible textual reasoning. We have also conducted preliminary experiments
with reinforcement learning over synthetic data, and find encouraging results
on in-domain synthetic subset but less promising for real-world images. Our
analysis highlights a fundamental limitation of current VLMs in fine-grained
spatial grounding. We hope this resource can help future advances on visually
grounded numeracy and precise spatial perception of VLMs, bridging the gap
between recognizing numbers and measuring the world.