GeometryZero: Mejora de la Resolución de Geometría para LLM con Optimización de Política de Contraste Grupal

GeometryZero: Improving Geometry Solving for LLM with Group Contrastive Policy Optimization

June 8, 2025

Autores: Yikun Wang, Yibin Wang, Dianyi Wang, Zimian Peng, Qipeng Guo, Dacheng Tao, Jiaqi Wang

cs.AI

Resumen

Los avances recientes en los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han demostrado capacidades notables en diversos dominios, particularmente en el razonamiento matemático, entre los cuales la resolución de problemas de geometría sigue siendo un área desafiante donde la construcción auxiliar desempeña un papel esencial. Los enfoques existentes logran un rendimiento subóptimo o dependen de LLMs masivos (por ejemplo, GPT-4o), incurriendo en costos computacionales significativos. Postulamos que el aprendizaje por refuerzo con recompensas verificables (por ejemplo, GRPO) ofrece una dirección prometedora para entrenar modelos más pequeños que combinen de manera efectiva la construcción auxiliar con un razonamiento geométrico robusto. Sin embargo, la aplicación directa de GRPO al razonamiento geométrico presenta limitaciones fundamentales debido a su dependencia de recompensas incondicionales, lo que conduce a construcciones auxiliares indiscriminadas y contraproducentes. Para abordar estos desafíos, proponemos la Optimización de Políticas por Contraste Grupal (GCPO, por sus siglas en inglés), un novedoso marco de aprendizaje por refuerzo que presenta dos innovaciones clave: (1) el Enmascaramiento por Contraste Grupal, que proporciona señales de recompensa positivas o negativas para la construcción auxiliar basadas en la utilidad contextual, y (2) una recompensa de longitud que promueve cadenas de razonamiento más largas. Basándonos en GCPO, desarrollamos GeometryZero, una familia de modelos de razonamiento geométrico de tamaño asequible que determinan de manera juiciosa cuándo emplear la construcción auxiliar. Nuestra extensa evaluación empírica en benchmarks geométricos populares (Geometry3K, MathVista) demuestra que los modelos GeometryZero superan consistentemente a los baselines (por ejemplo, GRPO), logrando una mejora promedio del 4.29% en todos los benchmarks.

English

Recent advances in large language models (LLMs) have demonstrated remarkable capabilities across diverse domains, particularly in mathematical reasoning, amid which geometry problem solving remains a challenging area where auxiliary construction plays a enssential role. Existing approaches either achieve suboptimal performance or rely on massive LLMs (e.g., GPT-4o), incurring massive computational costs. We posit that reinforcement learning with verifiable reward (e.g., GRPO) offers a promising direction for training smaller models that effectively combine auxiliary construction with robust geometric reasoning. However, directly applying GRPO to geometric reasoning presents fundamental limitations due to its dependence on unconditional rewards, which leads to indiscriminate and counterproductive auxiliary constructions. To address these challenges, we propose Group Contrastive Policy Optimization (GCPO), a novel reinforcement learning framework featuring two key innovations: (1) Group Contrastive Masking, which adaptively provides positive or negative reward signals for auxiliary construction based on contextual utility, and a (2) length reward that promotes longer reasoning chains. Building on GCPO, we develop GeometryZero, a family of affordable-size geometric reasoning models that judiciously determine when to employ auxiliary construction. Our extensive empirical evaluation across popular geometric benchmarks (Geometry3K, MathVista) demonstrates that GeometryZero models consistently outperform baselines (e.g. GRPO), achieving an average improvement of 4.29% across all benchmarks.