MAVIS: Ajuste de Instrução Visual Matemática
MAVIS: Mathematical Visual Instruction Tuning
July 11, 2024
Autores: Renrui Zhang, Xinyu Wei, Dongzhi Jiang, Yichi Zhang, Ziyu Guo, Chengzhuo Tong, Jiaming Liu, Aojun Zhou, Bin Wei, Shanghang Zhang, Peng Gao, Hongsheng Li
cs.AI
Resumo
Os Modelos de Linguagem Multimodais de Grande Escala (MLLMs) surgiram recentemente como um foco significativo na academia e na indústria. Apesar de sua proficiência em cenários multimodais gerais, as capacidades de resolução de problemas matemáticos em contextos visuais permanecem insuficientemente exploradas. Identificamos três áreas-chave dentro dos MLLMs que precisam ser aprimoradas: codificação visual de diagramas matemáticos, alinhamento diagrama-linguagem e habilidades de raciocínio matemático. Isso traz uma demanda urgente por dados em larga escala e pipelines de treinamento de alta qualidade em matemática visual. Neste artigo, propomos o MAVIS, o primeiro paradigma de ajuste de instrução visual matemática para MLLMs, envolvendo uma série de conjuntos de dados visuais matemáticos e MLLMs especializados. Visando os três problemas, o MAVIS contém três estágios progressivos de treinamento do zero. Primeiramente, curamos o MAVIS-Caption, composto por 558 mil pares de diagramas e legendas, para ajustar finamente um codificador de visão específico para matemática (CLIP-Math) por meio de aprendizado contrastivo, adaptado para uma melhor codificação visual de diagramas. Em segundo lugar, utilizamos o MAVIS-Caption para alinhar o CLIP-Math com um grande modelo de linguagem (LLM) por meio de uma camada de projeção, aprimorando o alinhamento visão-linguagem em domínios matemáticos. Em terceiro lugar, introduzimos o MAVIS-Instruct, incluindo 900 mil problemas matemáticos visuais meticulosamente coletados e anotados, que é adotado para ajustar finalmente o MLLM para habilidades robustas de raciocínio matemático. No MAVIS-Instruct, incorporamos raciocínios completos (CoT) para cada problema e minimizamos a redundância textual, concentrando assim o modelo nos elementos visuais. Os Dados e Modelos estão disponíveis em https://github.com/ZrrSkywalker/MAVIS
English
Multi-modal Large Language Models (MLLMs) have recently emerged as a
significant focus in academia and industry. Despite their proficiency in
general multi-modal scenarios, the mathematical problem-solving capabilities in
visual contexts remain insufficiently explored. We identify three key areas
within MLLMs that need to be improved: visual encoding of math diagrams,
diagram-language alignment, and mathematical reasoning skills. This draws forth
an urgent demand for large-scale, high-quality data and training pipelines in
visual mathematics. In this paper, we propose MAVIS, the first MAthematical
VISual instruction tuning paradigm for MLLMs, involving a series of
mathematical visual datasets and specialized MLLMs. Targeting the three issues,
MAVIS contains three progressive training stages from scratch. First, we curate
MAVIS-Caption, consisting of 558K diagram-caption pairs, to fine-tune a
math-specific vision encoder (CLIP-Math) through contrastive learning, tailored
for improved diagram visual encoding. Second, we utilize MAVIS-Caption to align
the CLIP-Math with a large language model (LLM) by a projection layer,
enhancing vision-language alignment in mathematical domains. Third, we
introduce MAVIS-Instruct, including 900K meticulously collected and annotated
visual math problems, which is adopted to finally instruct-tune the MLLM for
robust mathematical reasoning skills. In MAVIS-Instruct, we incorporate
complete chain-of-thought (CoT) rationales for each problem, and minimize
textual redundancy, thereby concentrating the model towards the visual
elements. Data and Models are released at https://github.com/ZrrSkywalker/MAVIS