Math-LLaVA: Запуск математического рассуждения для мультимодальных крупных языковых моделей

Math-LLaVA: Bootstrapping Mathematical Reasoning for Multimodal Large Language Models

June 25, 2024

Авторы: Wenhao Shi, Zhiqiang Hu, Yi Bin, Junhua Liu, Yang Yang, See-Kiong Ng, Lidong Bing, Roy Ka-Wei Lee

cs.AI

Аннотация

Большие языковые модели (LLM) продемонстрировали впечатляющие способности к рассуждениям, особенно в текстовом математическом решении проблем. Однако существующие наборы данных для настройки изображений с инструкциями, содержащие ограниченное количество пар вопрос-ответ на изображение, не полностью используют визуальную информацию для улучшения мультимодальных математических рассуждений мультимодальных LLM (MLLM). Для заполнения этого разрыва мы решаем проблему отсутствия высококачественных, разнообразных мультимодальных математических наборов данных, собирая 40 тыс. высококачественных изображений с парами вопрос-ответ из 24 существующих наборов данных и синтезируя 320 тыс. новых пар, создавая набор данных MathV360K, который увеличивает как ширину, так и глубину мультимодальных математических вопросов. Мы представляем Math-LLaVA, модель на основе LLaVA-1.5, настроенную с помощью MathV360K. Этот новаторский подход значительно улучшает мультимодальные математические рассуждения LLaVA-1.5, достигая увеличения на 19 пунктов и сравнимой производительности с GPT-4V на тестовом наборе данных MathVista. Более того, Math-LLaVA демонстрирует улучшенную обобщаемость, показывая значительные улучшения на бенчмарке MMMU. Наше исследование подчеркивает важность разнообразия и синтеза наборов данных в развитии математических рассуждений MLLM. Код и данные доступны по ссылке: https://github.com/HZQ950419/Math-LLaVA.

English

Large language models (LLMs) have demonstrated impressive reasoning capabilities, particularly in textual mathematical problem-solving. However, existing open-source image instruction fine-tuning datasets, containing limited question-answer pairs per image, do not fully exploit visual information to enhance the multimodal mathematical reasoning capabilities of Multimodal LLMs (MLLMs). To bridge this gap, we address the lack of high-quality, diverse multimodal mathematical datasets by collecting 40K high-quality images with question-answer pairs from 24 existing datasets and synthesizing 320K new pairs, creating the MathV360K dataset, which enhances both the breadth and depth of multimodal mathematical questions. We introduce Math-LLaVA, a LLaVA-1.5-based model fine-tuned with MathV360K. This novel approach significantly improves the multimodal mathematical reasoning capabilities of LLaVA-1.5, achieving a 19-point increase and comparable performance to GPT-4V on MathVista's minitest split. Furthermore, Math-LLaVA demonstrates enhanced generalizability, showing substantial improvements on the MMMU benchmark. Our research highlights the importance of dataset diversity and synthesis in advancing MLLMs' mathematical reasoning abilities. The code and data are available at: https://github.com/HZQ950419/Math-LLaVA.