GeometryZero : Amélioration de la résolution de problèmes de géométrie pour les LLM grâce à l'optimisation de politique par contraste de groupe

GeometryZero: Improving Geometry Solving for LLM with Group Contrastive Policy Optimization

June 8, 2025

Auteurs: Yikun Wang, Yibin Wang, Dianyi Wang, Zimian Peng, Qipeng Guo, Dacheng Tao, Jiaqi Wang

cs.AI

Résumé

Les récents progrès dans les modèles de langage à grande échelle (LLMs) ont démontré des capacités remarquables dans divers domaines, en particulier dans le raisonnement mathématique, où la résolution de problèmes de géométrie reste un domaine difficile dans lequel la construction auxiliaire joue un rôle essentiel. Les approches existantes obtiennent soit des performances sous-optimales, soit reposent sur des LLMs massifs (par exemple, GPT-4o), entraînant des coûts de calcul considérables. Nous postulons que l'apprentissage par renforcement avec récompense vérifiable (par exemple, GRPO) offre une direction prometteuse pour entraîner des modèles plus petits qui combinent efficacement la construction auxiliaire avec un raisonnement géométrique robuste. Cependant, l'application directe de GRPO au raisonnement géométrique présente des limitations fondamentales en raison de sa dépendance à des récompenses inconditionnelles, ce qui conduit à des constructions auxiliaires indiscriminées et contre-productives. Pour relever ces défis, nous proposons l'Optimisation de Politique par Contraste de Groupe (GCPO), un nouveau cadre d'apprentissage par renforcement comportant deux innovations clés : (1) le Masquage par Contraste de Groupe, qui fournit de manière adaptative des signaux de récompense positifs ou négatifs pour la construction auxiliaire en fonction de l'utilité contextuelle, et (2) une récompense de longueur qui favorise des chaînes de raisonnement plus longues. En nous appuyant sur GCPO, nous développons GeometryZero, une famille de modèles de raisonnement géométrique de taille abordable qui déterminent de manière judicieuse quand employer la construction auxiliaire. Notre évaluation empirique approfondie sur des benchmarks géométriques populaires (Geometry3K, MathVista) démontre que les modèles GeometryZero surpassent systématiquement les baselines (par exemple, GRPO), avec une amélioration moyenne de 4,29 % sur tous les benchmarks.

English

Recent advances in large language models (LLMs) have demonstrated remarkable capabilities across diverse domains, particularly in mathematical reasoning, amid which geometry problem solving remains a challenging area where auxiliary construction plays a enssential role. Existing approaches either achieve suboptimal performance or rely on massive LLMs (e.g., GPT-4o), incurring massive computational costs. We posit that reinforcement learning with verifiable reward (e.g., GRPO) offers a promising direction for training smaller models that effectively combine auxiliary construction with robust geometric reasoning. However, directly applying GRPO to geometric reasoning presents fundamental limitations due to its dependence on unconditional rewards, which leads to indiscriminate and counterproductive auxiliary constructions. To address these challenges, we propose Group Contrastive Policy Optimization (GCPO), a novel reinforcement learning framework featuring two key innovations: (1) Group Contrastive Masking, which adaptively provides positive or negative reward signals for auxiliary construction based on contextual utility, and a (2) length reward that promotes longer reasoning chains. Building on GCPO, we develop GeometryZero, a family of affordable-size geometric reasoning models that judiciously determine when to employ auxiliary construction. Our extensive empirical evaluation across popular geometric benchmarks (Geometry3K, MathVista) demonstrates that GeometryZero models consistently outperform baselines (e.g. GRPO), achieving an average improvement of 4.29% across all benchmarks.