GeoX: Resolución de Problemas Geométricos a Través del Preentrenamiento Unificado Formalizado de Visión-Lenguaje

GeoX: Geometric Problem Solving Through Unified Formalized Vision-Language Pre-training

December 16, 2024

Autores: Renqiu Xia, Mingsheng Li, Hancheng Ye, Wenjie Wu, Hongbin Zhou, Jiakang Yuan, Tianshuo Peng, Xinyu Cai, Xiangchao Yan, Bin Wang, Conghui He, Botian Shi, Tao Chen, Junchi Yan, Bo Zhang

cs.AI

Resumen

A pesar de su competencia en tareas generales, los Modelos de Lenguaje Multimodal de Gran Escala (MLLMs) enfrentan dificultades con la Resolución Automática de Problemas de Geometría (GPS), que requiere comprender diagramas, interpretar símbolos y realizar razonamientos complejos. Esta limitación surge de su pre-entrenamiento en imágenes y textos naturales, junto con la falta de verificación automatizada en el proceso de resolución de problemas. Además, los especialistas geométricos actuales están limitados por sus diseños específicos de tarea, lo que los hace menos efectivos para problemas geométricos más amplios. Con este fin, presentamos GeoX, un modelo grande multimodal centrado en tareas de comprensión y razonamiento geométrico. Dadas las diferencias significativas entre diagramas-símbolo geométricos e imagen-texto natural, introducimos un pre-entrenamiento unimodal para desarrollar un codificador de diagramas y un decodificador de símbolos, mejorando la comprensión de imágenes y corpora geométricos. Además, presentamos el alineamiento geometría-lenguaje, un paradigma efectivo de pre-entrenamiento que reduce la brecha de modalidad entre expertos geométricos unimodales. Proponemos un Transformador Generador y Muestreador (GS-Former) para generar consultas discriminativas y eliminar representaciones no informativas de señales geométricas distribuidas de manera desigual. Finalmente, GeoX se beneficia de la sintonización de instrucciones visuales, capacitándolo para tomar imágenes y preguntas geométricas como entrada y generar soluciones verificables. Los experimentos muestran que GeoX supera tanto a generalistas como a especialistas geométricos en benchmarks reconocidos públicamente, como GeoQA, UniGeo, Geometry3K y PGPS9k.

English

Despite their proficiency in general tasks, Multi-modal Large Language Models (MLLMs) struggle with automatic Geometry Problem Solving (GPS), which demands understanding diagrams, interpreting symbols, and performing complex reasoning. This limitation arises from their pre-training on natural images and texts, along with the lack of automated verification in the problem-solving process. Besides, current geometric specialists are limited by their task-specific designs, making them less effective for broader geometric problems. To this end, we present GeoX, a multi-modal large model focusing on geometric understanding and reasoning tasks. Given the significant differences between geometric diagram-symbol and natural image-text, we introduce unimodal pre-training to develop a diagram encoder and symbol decoder, enhancing the understanding of geometric images and corpora. Furthermore, we introduce geometry-language alignment, an effective pre-training paradigm that bridges the modality gap between unimodal geometric experts. We propose a Generator-And-Sampler Transformer (GS-Former) to generate discriminative queries and eliminate uninformative representations from unevenly distributed geometric signals. Finally, GeoX benefits from visual instruction tuning, empowering it to take geometric images and questions as input and generate verifiable solutions. Experiments show that GeoX outperforms both generalists and geometric specialists on publicly recognized benchmarks, such as GeoQA, UniGeo, Geometry3K, and PGPS9k.