비전-언어 모델은 제대로 측정할까? MeasureBench를 활용한 시각적 측정 판독 벤치마킹

Do Vision-Language Models Measure Up? Benchmarking Visual Measurement Reading with MeasureBench

October 30, 2025

저자: Fenfen Lin, Yesheng Liu, Haiyu Xu, Chen Yue, Zheqi He, Mingxuan Zhao, Miguel Hu Chen, Jiakang Liu, JG Yao, Xi Yang

cs.AI

초록

측정 기기 읽기는 인간에게는 쉽고 상대적으로 적은 도메인 전문성을 요구하지만, 예비 평가에서 발견한 바와 같이 현재의 시각-언어 모델(VLM)에게는 놀랍도록 어려운 과제로 남아 있습니다. 본 연구에서는 다양한 유형의 측정 장비의 실제 및 합성 이미지를 포함한 시각적 측정 읽기 벤치마크인 MeasureBench와 데이터 합성을 위한 확장 가능한 파이프라인을 소개합니다. 우리의 파이프라인은 조절 가능한 시각적 외관을 가진 지정된 유형의 계측기를 절차적으로 생성하여, 포인터, 눈금, 글꼴, 조명, 잡음 등 핵심 세부 사항들의 확장 가능한 변형을 가능하게 합니다. 인기 있는 독점 및 오픈 웨이트 VLM에 대한 평가 결과, 가장 강력한 최첨단 VLM 조차도 일반적인 측정 읽기에 어려움을 겪는 것으로 나타났습니다. 일관된 실패 모드는 지시기 위치 파악입니다: 모델은 숫자나 라벨을 읽을 수 있지만 포인터나 정렬의 핵심 위치를 잘못 파악하여, 그럴듯한 텍스트 추론에도 불구하고 큰 수치 오류를 초래합니다. 우리는 또한 합성 데이터에 대한 강화 학습을 이용한 예비 실험을 수행했으며, 동일 도메인 합성 서브셋에서는 고무적인 결과를 얻었지만 실제 이미지에 대해서는 덜 유망한 결과를 확인했습니다. 우리의 분석은 현재 VLM의 세밀한 공간 기반 이해 능력에 있는 근본적인 한계를 부각시킵니다. 우리는 이 자원이 시각적 수리 능력과 VLM의 정밀한 공간 인식에 대한 향후 발전을 돕고, 숫자를 인식하는 것과 세계를 측정하는 것 사이의 격차를 해소하는 데 기여하기를 바랍니다.

English

Reading measurement instruments is effortless for humans and requires relatively little domain expertise, yet it remains surprisingly challenging for current vision-language models (VLMs) as we find in preliminary evaluation. In this work, we introduce MeasureBench, a benchmark on visual measurement reading covering both real-world and synthesized images of various types of measurements, along with an extensible pipeline for data synthesis. Our pipeline procedurally generates a specified type of gauge with controllable visual appearance, enabling scalable variation in key details such as pointers, scales, fonts, lighting, and clutter. Evaluation on popular proprietary and open-weight VLMs shows that even the strongest frontier VLMs struggle measurement reading in general. A consistent failure mode is indicator localization: models can read digits or labels but misidentify the key positions of pointers or alignments, leading to big numeric errors despite plausible textual reasoning. We have also conducted preliminary experiments with reinforcement learning over synthetic data, and find encouraging results on in-domain synthetic subset but less promising for real-world images. Our analysis highlights a fundamental limitation of current VLMs in fine-grained spatial grounding. We hope this resource can help future advances on visually grounded numeracy and precise spatial perception of VLMs, bridging the gap between recognizing numbers and measuring the world.