MechVQA: Benchmarking e Aprimoramento de LLMs Multimodais na Compreensão Abrangente de Desenhos Mecânicos

Resumo

Modelos de Linguagem de Grande Escala Multimodais (MLLMs) têm demonstrado conquistas significativas em tarefas gerais de resposta a perguntas visuais (VQA). No entanto, eles permanecem frágeis em desenhos de engenharia mecânica, onde a alta densidade de anotação e o fraco conhecimento de domínio, agravados pelo raciocínio não confiável de relações espaciais sob regras estritas de projeção e restrições geométricas, tornam fácil perder pistas decisivas e frequentemente levam a respostas erradas. Para preencher essa lacuna, apresentamos o primeiro conjunto de dados abrangente para compreensão de desenhos mecânicos, o MechVQA, criado por meio de um pipeline semiautomático de construção e controle de qualidade. O MechVQA contém 3,3 mil imagens de alta densidade com 21 mil pares pergunta-resposta, abrangendo 10 tarefas diferentes de granularidade fina em três níveis de capacidade: Reconhecimento, Raciocínio e Julgamento, fornecendo um ambiente de teste para avaliar e melhorar a compreensão de MLLMs em desenhos mecânicos do mundo real. Com base no MechVQA, desenvolvemos então o modelo MechVL por meio de um paradigma de treinamento em múltiplos estágios, estabelecendo uma baseline especializada no domínio. Resultados experimentais extensivos demonstram que o MechVL supera a baseline de código fechado mais forte em 7,57 pontos percentuais na pontuação total do MechVQA, melhorando significativamente a capacidade de compreensão de desenhos mecânicos e fornecendo uma base reutilizável para implantar MLLMs em cenários de projeto e inspeção mecânica.

English

Multimodal Large Language Models (MLLMs) have demonstrated significant achievements in general visual question answering (VQA) tasks. However, they remain brittle on mechanical engineering drawings, where high annotation density and weak domain knowledge, compounded by unreliable spatial relation reasoning under strict projection rules and geometric constraints, make decisive cues easy to miss and frequently lead to wrong answers. To bridge this gap, we introduce the first comprehensive mechanical drawing understanding dataset, MechVQA, created through a semi-automated construction and quality-control pipeline. MechVQA contains 3.3k high-density pictures with 21K question-answer pairs, spanning 10 different fine-grained tasks across three capability levels: Recognition, Reasoning, and Judging, providing a testbed to evaluate and improve MLLM understanding on real-world mechanical drawings. On top of MechVQA, we then develop the MechVL model through a multi-stage training paradigm, building a strong domain-specialized baseline. Extensive experimental results demonstrate that MechVL outperforms the strongest closed-source baseline by 7.57 percentage points on the MechVQA total score, significantly enhancing mechanical drawing understanding ability and providing a reusable foundation for deploying MLLMs in mechanical design and inspection scenarios.