GeoX: Geometrische Problemlösung durch vereinheitlichtes formalisiertes Vision-Sprach-Vortraining

GeoX: Geometric Problem Solving Through Unified Formalized Vision-Language Pre-training

December 16, 2024

Autoren: Renqiu Xia, Mingsheng Li, Hancheng Ye, Wenjie Wu, Hongbin Zhou, Jiakang Yuan, Tianshuo Peng, Xinyu Cai, Xiangchao Yan, Bin Wang, Conghui He, Botian Shi, Tao Chen, Junchi Yan, Bo Zhang

cs.AI

Zusammenfassung

Trotz ihrer Kompetenz bei allgemeinen Aufgaben haben Multi-Modale Große Sprachmodelle (MLLMs) Schwierigkeiten mit der automatischen Lösung geometrischer Probleme (GPS), die das Verstehen von Diagrammen, die Interpretation von Symbolen und komplexe Schlussfolgerungen erfordert. Diese Einschränkung resultiert aus ihrem Vortraining auf natürlichen Bildern und Texten sowie dem Fehlen einer automatischen Überprüfung im Problemlösungsprozess. Darüber hinaus sind aktuelle geometrische Spezialisten durch ihre aufgabenspezifischen Designs begrenzt, was sie weniger effektiv für breitere geometrische Probleme macht. Zu diesem Zweck präsentieren wir GeoX, ein Multi-Modales Großes Modell, das sich auf geometrische Verständnis- und Schlussfolgerungsaufgaben konzentriert. Angesichts der signifikanten Unterschiede zwischen geometrischen Diagramm-Symbolen und natürlichen Bild-Texten führen wir unimodales Vortraining ein, um einen Diagramm-Encoder und einen Symbol-Decoder zu entwickeln, um das Verständnis geometrischer Bilder und Korpora zu verbessern. Darüber hinaus führen wir die Geometrie-Sprachausrichtung ein, ein effektives Vortrainingsparadigma, das die Modalitätslücke zwischen unimodalen geometrischen Experten überbrückt. Wir schlagen einen Generator-Und-Sampler-Transformer (GS-Former) vor, um diskriminierende Abfragen zu generieren und uninformative Darstellungen aus ungleich verteilten geometrischen Signalen zu eliminieren. Schließlich profitiert GeoX von der visuellen Anleitungsoptimierung, die es befähigt, geometrische Bilder und Fragen als Eingabe zu verwenden und überprüfbare Lösungen zu generieren. Experimente zeigen, dass GeoX sowohl Generalisten als auch geometrische Spezialisten auf öffentlich anerkannten Benchmarks wie GeoQA, UniGeo, Geometry3K und PGPS9k übertrifft.

English

Despite their proficiency in general tasks, Multi-modal Large Language Models (MLLMs) struggle with automatic Geometry Problem Solving (GPS), which demands understanding diagrams, interpreting symbols, and performing complex reasoning. This limitation arises from their pre-training on natural images and texts, along with the lack of automated verification in the problem-solving process. Besides, current geometric specialists are limited by their task-specific designs, making them less effective for broader geometric problems. To this end, we present GeoX, a multi-modal large model focusing on geometric understanding and reasoning tasks. Given the significant differences between geometric diagram-symbol and natural image-text, we introduce unimodal pre-training to develop a diagram encoder and symbol decoder, enhancing the understanding of geometric images and corpora. Furthermore, we introduce geometry-language alignment, an effective pre-training paradigm that bridges the modality gap between unimodal geometric experts. We propose a Generator-And-Sampler Transformer (GS-Former) to generate discriminative queries and eliminate uninformative representations from unevenly distributed geometric signals. Finally, GeoX benefits from visual instruction tuning, empowering it to take geometric images and questions as input and generate verifiable solutions. Experiments show that GeoX outperforms both generalists and geometric specialists on publicly recognized benchmarks, such as GeoQA, UniGeo, Geometry3K, and PGPS9k.