視覚言語モデルは測定を正確に行えるか？ MeasureBenchによる視覚的測定読解のベンチマーキング

Do Vision-Language Models Measure Up? Benchmarking Visual Measurement Reading with MeasureBench

October 30, 2025

著者: Fenfen Lin, Yesheng Liu, Haiyu Xu, Chen Yue, Zheqi He, Mingxuan Zhao, Miguel Hu Chen, Jiakang Liu, JG Yao, Xi Yang

cs.AI

要旨

測定機器の読み取りは、人間にとっては容易で、比較的少ない専門知識で可能である。しかし、予備評価で明らかになったように、現在の視覚言語モデル（VLM）にとっては驚くほど困難な課題であり続けている。本研究では、様々な種類の測定器の実世界画像および合成画像を網羅する視覚的測定読み取りベンチマーク「MeasureBench」と、データ合成のための拡張可能なパイプラインを提案する。本パイプラインは、視覚的外観を制御可能な特定の種類の計器を手続き的に生成し、指針、目盛、フォント、照明、雑音といった主要な詳細についてスケーラブルなバリエーションを可能にする。人気のあるプロプライエタリおよびオープンウェイトのVLMを評価した結果、最も高性能なフロンティアVLMでさえ、測定読み取り全般に苦戦することが示された。一貫して見られる失敗モードは、指示子の位置特定である。モデルは数字やラベルを読み取れるが、指針や位置合わせのキーポイントを誤認するため、もっともらしい文脈的な推論にもかかわらず、大きな数値的誤差を生じる。我々はまた、合成データを用いた強化学習による予備実験を実施し、ドメイン内の合成サブセットでは有望な結果が得られるものの、実世界画像では有望でない結果を得た。本分析は、現在のVLMにおける微細な空間的接地の根本的な限界を浮き彫りにする。本リソースが、視覚に基づく数的処理能力とVLMの精密な空間知覚の将来の進展、すなわち数字を認識することと世界を測定することの間のギャップを埋める一助となることを期待する。

English

Reading measurement instruments is effortless for humans and requires relatively little domain expertise, yet it remains surprisingly challenging for current vision-language models (VLMs) as we find in preliminary evaluation. In this work, we introduce MeasureBench, a benchmark on visual measurement reading covering both real-world and synthesized images of various types of measurements, along with an extensible pipeline for data synthesis. Our pipeline procedurally generates a specified type of gauge with controllable visual appearance, enabling scalable variation in key details such as pointers, scales, fonts, lighting, and clutter. Evaluation on popular proprietary and open-weight VLMs shows that even the strongest frontier VLMs struggle measurement reading in general. A consistent failure mode is indicator localization: models can read digits or labels but misidentify the key positions of pointers or alignments, leading to big numeric errors despite plausible textual reasoning. We have also conducted preliminary experiments with reinforcement learning over synthetic data, and find encouraging results on in-domain synthetic subset but less promising for real-world images. Our analysis highlights a fundamental limitation of current VLMs in fine-grained spatial grounding. We hope this resource can help future advances on visually grounded numeracy and precise spatial perception of VLMs, bridging the gap between recognizing numbers and measuring the world.