Avaliação Comparativa do Raciocínio Matemático Multimodal com Dependência Visual Explícita

Benchmarking Multimodal Mathematical Reasoning with Explicit Visual Dependency

April 24, 2025

Autores: Zhikai Wang, Jiashuo Sun, Wenqi Zhang, Zhiqiang Hu, Xin Li, Fan Wang, Deli Zhao

cs.AI

Resumo

Os avanços recentes em Modelos de Visão e Linguagem de Grande Escala (LVLMs, na sigla em inglês) têm aprimorado significativamente sua capacidade de integrar informações visuais e linguísticas, alcançando proficiência quase humana em tarefas como reconhecimento de objetos, geração de legendas e resposta a perguntas visuais. No entanto, os benchmarks atuais geralmente se concentram em avaliações centradas no conhecimento que avaliam a expertise em domínios específicos, muitas vezes negligenciando a capacidade essencial de raciocinar sobre elementos matemáticos fundamentais e conceitos visuais. Identificamos uma lacuna na avaliação de problemas matemáticos de nível elementar, que dependem explicitamente de elementos visuais — exigindo que os modelos discernam, integrem e raciocinem com base em múltiplas imagens, ao mesmo tempo que incorporam conhecimento de senso comum, todos aspectos cruciais para avançar em direção a capacidades mais amplas de AGI (Inteligência Artificial Geral). Para abordar essa lacuna, introduzimos o VCBENCH, um benchmark abrangente para raciocínio matemático multimodal com dependências visuais explícitas. O VCBENCH inclui 1.720 problemas em seis domínios cognitivos, apresentando 6.697 imagens (média de 3,9 por questão) para garantir o raciocínio com múltiplas imagens. Avaliamos 26 LVLMs de última geração no VCBENCH, revelando disparidades substanciais de desempenho, com até mesmo os melhores modelos incapazes de superar 50% de precisão. Nossas descobertas destacam os desafios contínuos na integração visual-matemática e sugerem caminhos para futuros avanços em LVLMs.

English

Recent advancements in Large Vision-Language Models (LVLMs) have significantly enhanced their ability to integrate visual and linguistic information, achieving near-human proficiency in tasks like object recognition, captioning, and visual question answering. However, current benchmarks typically focus on knowledge-centric evaluations that assess domain-specific expertise, often neglecting the core ability to reason about fundamental mathematical elements and visual concepts. We identify a gap in evaluating elementary-level math problems, which rely on explicit visual dependencies-requiring models to discern, integrate, and reason across multiple images while incorporating commonsense knowledge, all of which are crucial for advancing toward broader AGI capabilities. To address this gap, we introduce VCBENCH, a comprehensive benchmark for multimodal mathematical reasoning with explicit visual dependencies. VCBENCH includes 1,720 problems across six cognitive domains, featuring 6,697 images (averaging 3.9 per question) to ensure multi-image reasoning. We evaluate 26 state-of-the-art LVLMs on VCBENCH, revealing substantial performance disparities, with even the top models unable to exceed 50% accuracy. Our findings highlight the ongoing challenges in visual-mathematical integration and suggest avenues for future LVLM advancements.