¡Un ejemplo mostrado, muchos conceptos conocidos! Razonamiento conceptual impulsado por contraejemplos en LLMs matemáticos.

One Example Shown, Many Concepts Known! Counterexample-Driven Conceptual Reasoning in Mathematical LLMs

February 12, 2025

Autores: Yinghui Li, Jiayi Kuang, Haojing Huang, Zhikun Xu, Xinnian Liang, Yi Yu, Wenlian Lu, Yangning Li, Xiaoyu Tan, Chao Qu, Ying Shen, Hai-Tao Zheng, Philip S. Yu

cs.AI

Resumen

Aprovechar los Modelos de Lenguaje de Gran Escala (LLMs por sus siglas en inglés) matemáticos para la generación de pruebas es un tema fundamental en la investigación de LLMs. Sostenemos que la capacidad de los LLMs actuales para demostrar afirmaciones depende en gran medida de si han encontrado el proceso de prueba relevante durante el entrenamiento. Esta dependencia limita su comprensión más profunda de los teoremas matemáticos y conceptos relacionados. Inspirados en el método pedagógico de "demostración por contraejemplos" comúnmente utilizado en la educación matemática humana, nuestro trabajo tiene como objetivo mejorar la capacidad de los LLMs para llevar a cabo razonamientos matemáticos y demostraciones a través de contraejemplos. Específicamente, creamos manualmente un banco de pruebas matemáticas de alta calidad a nivel universitario, CounterMATH, que requiere que los LLMs demuestren afirmaciones matemáticas proporcionando contraejemplos, evaluando así su comprensión de los conceptos matemáticos. Además, desarrollamos un marco de ingeniería de datos para obtener automáticamente datos de entrenamiento para mejorar aún más el modelo. Experimentos extensos y análisis detallados demuestran que CounterMATH es desafiante, lo que indica que los LLMs, como OpenAI o1, tienen capacidades de demostración impulsadas por contraejemplos insuficientes. Además, nuestra exploración en el entrenamiento del modelo revela que fortalecer las habilidades de razonamiento conceptual impulsadas por contraejemplos de los LLMs es crucial para mejorar sus capacidades matemáticas en general. Creemos que nuestro trabajo ofrece nuevas perspectivas a la comunidad de LLMs matemáticos.

English

Leveraging mathematical Large Language Models (LLMs) for proof generation is a fundamental topic in LLMs research. We argue that the ability of current LLMs to prove statements largely depends on whether they have encountered the relevant proof process during training. This reliance limits their deeper understanding of mathematical theorems and related concepts. Inspired by the pedagogical method of "proof by counterexamples" commonly used in human mathematics education, our work aims to enhance LLMs' ability to conduct mathematical reasoning and proof through counterexamples. Specifically, we manually create a high-quality, university-level mathematical benchmark, CounterMATH, which requires LLMs to prove mathematical statements by providing counterexamples, thereby assessing their grasp of mathematical concepts. Additionally, we develop a data engineering framework to automatically obtain training data for further model improvement. Extensive experiments and detailed analyses demonstrate that CounterMATH is challenging, indicating that LLMs, such as OpenAI o1, have insufficient counterexample-driven proof capabilities. Moreover, our exploration into model training reveals that strengthening LLMs' counterexample-driven conceptual reasoning abilities is crucial for improving their overall mathematical capabilities. We believe that our work offers new perspectives on the community of mathematical LLMs.