GeoX: Resolução de Problemas Geométricos Através do Pré-treinamento Unificado Formalizado de Visão e Linguagem

GeoX: Geometric Problem Solving Through Unified Formalized Vision-Language Pre-training

December 16, 2024

Autores: Renqiu Xia, Mingsheng Li, Hancheng Ye, Wenjie Wu, Hongbin Zhou, Jiakang Yuan, Tianshuo Peng, Xinyu Cai, Xiangchao Yan, Bin Wang, Conghui He, Botian Shi, Tao Chen, Junchi Yan, Bo Zhang

cs.AI

Resumo

Apesar de sua proficiência em tarefas gerais, os Modelos de Linguagem Multimodais de Grande Escala (MLLMs) enfrentam dificuldades com a Resolução Automática de Problemas de Geometria (GPS), que exige compreensão de diagramas, interpretação de símbolos e realização de raciocínio complexo. Essa limitação decorre de seu pré-treinamento em imagens naturais e textos, juntamente com a falta de verificação automatizada no processo de resolução de problemas. Além disso, os especialistas geométricos atuais são limitados por seus designs específicos de tarefa, tornando-os menos eficazes para problemas geométricos mais amplos. Para isso, apresentamos o GeoX, um modelo grande multimodal focado em tarefas de compreensão e raciocínio geométrico. Dadas as diferenças significativas entre diagrama-símbolo geométrico e imagem-texto natural, introduzimos o pré-treinamento unimodal para desenvolver um codificador de diagrama e um decodificador de símbolos, aprimorando a compreensão de imagens geométricas e corpora. Além disso, introduzimos o alinhamento geometria-linguagem, um paradigma eficaz de pré-treinamento que preenche a lacuna de modalidade entre especialistas geométricos unimodais. Propomos um Transformador Gerador e Amostrador (GS-Former) para gerar consultas discriminativas e eliminar representações não informativas de sinais geométricos distribuídos de forma desigual. Por fim, o GeoX se beneficia do ajuste de instruções visuais, capacitando-o a receber imagens geométricas e perguntas como entrada e gerar soluções verificáveis. Experimentos mostram que o GeoX supera tanto os generalistas quanto os especialistas geométricos em benchmarks reconhecidos publicamente, como GeoQA, UniGeo, Geometry3K e PGPS9k.

English

Despite their proficiency in general tasks, Multi-modal Large Language Models (MLLMs) struggle with automatic Geometry Problem Solving (GPS), which demands understanding diagrams, interpreting symbols, and performing complex reasoning. This limitation arises from their pre-training on natural images and texts, along with the lack of automated verification in the problem-solving process. Besides, current geometric specialists are limited by their task-specific designs, making them less effective for broader geometric problems. To this end, we present GeoX, a multi-modal large model focusing on geometric understanding and reasoning tasks. Given the significant differences between geometric diagram-symbol and natural image-text, we introduce unimodal pre-training to develop a diagram encoder and symbol decoder, enhancing the understanding of geometric images and corpora. Furthermore, we introduce geometry-language alignment, an effective pre-training paradigm that bridges the modality gap between unimodal geometric experts. We propose a Generator-And-Sampler Transformer (GS-Former) to generate discriminative queries and eliminate uninformative representations from unevenly distributed geometric signals. Finally, GeoX benefits from visual instruction tuning, empowering it to take geometric images and questions as input and generate verifiable solutions. Experiments show that GeoX outperforms both generalists and geometric specialists on publicly recognized benchmarks, such as GeoQA, UniGeo, Geometry3K, and PGPS9k.