MechVQA: Het benchmarken en verbeteren van multimodale LLM's voor alomvattend begrip van mechanische tekeningen

Samenvatting

Multimodale Grote Taalmodellen (MLLMs) hebben aanzienlijke prestaties geleverd bij algemene visuele vraagbeantwoordingstaken (VQA). Ze blijven echter kwetsbaar bij mechanische technische tekeningen, waar hoge annotatiedichtheid en zwakke domeinkennis, gecombineerd met onbetrouwbare redenering over ruimtelijke relaties onder strikte projectieregels en geometrische beperkingen, ervoor zorgen dat beslissende aanwijzingen gemakkelijk worden gemist en vaak tot foutieve antwoorden leiden. Om dit hiaat te overbruggen, introduceren wij de eerste uitgebreide dataset voor het begrijpen van mechanische tekeningen, MechVQA, gecreëerd via een semi-automatische constructie- en kwaliteitscontrolepijplijn. MechVQA bevat 3,3k afbeeldingen met hoge dichtheid en 21K vraag-antwoordparen, verdeeld over 10 verschillende fijnmazige taken op drie vaardigheidsniveaus: Herkenning, Redenering en Beoordeling, en biedt een testomgeving om het begrip van MLLMs van realistische mechanische tekeningen te evalueren en te verbeteren. Bovenop MechVQA ontwikkelen wij vervolgens het MechVL-model via een meerfasige trainingsparadigma, waarmee een sterke domeinspecifieke basislijn wordt gevestigd. Uitgebreide experimentele resultaten tonen aan dat MechVL de sterkste closed-source baseline met 7,57 procentpunten overtreft op de totale MechVQA-score, wat het vermogen om mechanische tekeningen te begrijpen aanzienlijk verbetert en een herbruikbare basis biedt voor de inzet van MLLMs in scenario's voor mechanisch ontwerp en inspectie.

English

Multimodal Large Language Models (MLLMs) have demonstrated significant achievements in general visual question answering (VQA) tasks. However, they remain brittle on mechanical engineering drawings, where high annotation density and weak domain knowledge, compounded by unreliable spatial relation reasoning under strict projection rules and geometric constraints, make decisive cues easy to miss and frequently lead to wrong answers. To bridge this gap, we introduce the first comprehensive mechanical drawing understanding dataset, MechVQA, created through a semi-automated construction and quality-control pipeline. MechVQA contains 3.3k high-density pictures with 21K question-answer pairs, spanning 10 different fine-grained tasks across three capability levels: Recognition, Reasoning, and Judging, providing a testbed to evaluate and improve MLLM understanding on real-world mechanical drawings. On top of MechVQA, we then develop the MechVL model through a multi-stage training paradigm, building a strong domain-specialized baseline. Extensive experimental results demonstrate that MechVL outperforms the strongest closed-source baseline by 7.57 percentage points on the MechVQA total score, significantly enhancing mechanical drawing understanding ability and providing a reusable foundation for deploying MLLMs in mechanical design and inspection scenarios.