GeoX: Geometrisch Probleemoplossen via Geünificeerde Geformaliseerde Visie-Taal Vooraftraining
GeoX: Geometric Problem Solving Through Unified Formalized Vision-Language Pre-training
December 16, 2024
Auteurs: Renqiu Xia, Mingsheng Li, Hancheng Ye, Wenjie Wu, Hongbin Zhou, Jiakang Yuan, Tianshuo Peng, Xinyu Cai, Xiangchao Yan, Bin Wang, Conghui He, Botian Shi, Tao Chen, Junchi Yan, Bo Zhang
cs.AI
Samenvatting
Ondanks hun bekwaamheid in algemene taken, hebben Multi-modale Grote Taalmodellen (MLLM's) moeite met automatisch oplossen van meetkundige problemen (GPS), wat begrip van diagrammen, interpretatie van symbolen en complex redeneren vereist. Deze beperking komt voort uit hun voorafgaande training op natuurlijke afbeeldingen en teksten, samen met het gebrek aan geautomatiseerde verificatie in het probleemoplossingsproces. Bovendien worden huidige meetkundige specialisten beperkt door hun taakspecifieke ontwerpen, waardoor ze minder effectief zijn voor bredere meetkundige problemen. Om deze reden presenteren we GeoX, een multi-modale groot model dat zich richt op meetkundig begrip en redeneertaken. Gezien de aanzienlijke verschillen tussen meetkundige diagram-symbool en natuurlijke afbeelding-tekst, introduceren we unimodale voorafgaande training om een diagramencoder en symbooldecoder te ontwikkelen, waardoor het begrip van meetkundige afbeeldingen en corpora wordt verbeterd. Bovendien introduceren we meetkunde-taaluitlijning, een effectief voorafgaand trainingsparadigma dat de modaliteitskloof tussen unimodale meetkundige experts overbrugt. We stellen een Generator-En-Monster Transformer (GS-Former) voor om onderscheidende vragen te genereren en oninformatieve representaties van ongelijkmatig verdeelde meetkundige signalen te elimineren. Ten slotte profiteert GeoX van visuele instructieafstemming, waardoor het meetkundige afbeeldingen en vragen als invoer kan nemen en controleerbare oplossingen kan genereren. Experimenten tonen aan dat GeoX zowel generalisten als meetkundige specialisten overtreft op publiekelijk erkende benchmarks, zoals GeoQA, UniGeo, Geometry3K en PGPS9k.
English
Despite their proficiency in general tasks, Multi-modal Large Language Models
(MLLMs) struggle with automatic Geometry Problem Solving (GPS), which demands
understanding diagrams, interpreting symbols, and performing complex reasoning.
This limitation arises from their pre-training on natural images and texts,
along with the lack of automated verification in the problem-solving process.
Besides, current geometric specialists are limited by their task-specific
designs, making them less effective for broader geometric problems. To this
end, we present GeoX, a multi-modal large model focusing on geometric
understanding and reasoning tasks. Given the significant differences between
geometric diagram-symbol and natural image-text, we introduce unimodal
pre-training to develop a diagram encoder and symbol decoder, enhancing the
understanding of geometric images and corpora. Furthermore, we introduce
geometry-language alignment, an effective pre-training paradigm that bridges
the modality gap between unimodal geometric experts. We propose a
Generator-And-Sampler Transformer (GS-Former) to generate discriminative
queries and eliminate uninformative representations from unevenly distributed
geometric signals. Finally, GeoX benefits from visual instruction tuning,
empowering it to take geometric images and questions as input and generate
verifiable solutions. Experiments show that GeoX outperforms both generalists
and geometric specialists on publicly recognized benchmarks, such as GeoQA,
UniGeo, Geometry3K, and PGPS9k.