Math-LLaVA: Inicialização do Raciocínio Matemático para Modelos de Linguagem Multimodais de Grande Escala

Math-LLaVA: Bootstrapping Mathematical Reasoning for Multimodal Large Language Models

June 25, 2024

Autores: Wenhao Shi, Zhiqiang Hu, Yi Bin, Junhua Liu, Yang Yang, See-Kiong Ng, Lidong Bing, Roy Ka-Wei Lee

cs.AI

Resumo

Os modelos de linguagem de grande escala (LLMs) têm demonstrado impressionantes capacidades de raciocínio, especialmente na resolução de problemas matemáticos textuais. No entanto, os conjuntos de dados de ajuste fino de instruções de imagem de código aberto existentes, contendo um número limitado de pares pergunta-resposta por imagem, não exploram totalmente a informação visual para aprimorar as capacidades de raciocínio matemático multimodal dos Modelos de Linguagem Multimodal de Grande Escala (MLLMs). Para preencher essa lacuna, abordamos a falta de conjuntos de dados matemáticos multimodais diversificados e de alta qualidade, coletando 40 mil imagens de alta qualidade com pares pergunta-resposta de 24 conjuntos de dados existentes e sintetizando 320 mil novos pares, criando o conjunto de dados MathV360K, que aprimora tanto a amplitude quanto a profundidade de questões matemáticas multimodais. Apresentamos o Math-LLaVA, um modelo baseado em LLaVA-1.5 ajustado com o MathV360K. Esta abordagem inovadora melhora significativamente as capacidades de raciocínio matemático multimodal do LLaVA-1.5, alcançando um aumento de 19 pontos e desempenho comparável ao GPT-4V no split de minitest do MathVista. Além disso, o Math-LLaVA demonstra uma generalização aprimorada, mostrando melhorias substanciais no benchmark MMMU. Nossa pesquisa destaca a importância da diversidade e síntese de conjuntos de dados no avanço das habilidades de raciocínio matemático dos MLLMs. O código e os dados estão disponíveis em: https://github.com/HZQ950419/Math-LLaVA.

English

Large language models (LLMs) have demonstrated impressive reasoning capabilities, particularly in textual mathematical problem-solving. However, existing open-source image instruction fine-tuning datasets, containing limited question-answer pairs per image, do not fully exploit visual information to enhance the multimodal mathematical reasoning capabilities of Multimodal LLMs (MLLMs). To bridge this gap, we address the lack of high-quality, diverse multimodal mathematical datasets by collecting 40K high-quality images with question-answer pairs from 24 existing datasets and synthesizing 320K new pairs, creating the MathV360K dataset, which enhances both the breadth and depth of multimodal mathematical questions. We introduce Math-LLaVA, a LLaVA-1.5-based model fine-tuned with MathV360K. This novel approach significantly improves the multimodal mathematical reasoning capabilities of LLaVA-1.5, achieving a 19-point increase and comparable performance to GPT-4V on MathVista's minitest split. Furthermore, Math-LLaVA demonstrates enhanced generalizability, showing substantial improvements on the MMMU benchmark. Our research highlights the importance of dataset diversity and synthesis in advancing MLLMs' mathematical reasoning abilities. The code and data are available at: https://github.com/HZQ950419/Math-LLaVA.