1 つの例を示し、多くの概念を知る！ 数学的 LLMs における反例駆動型概念推論

One Example Shown, Many Concepts Known! Counterexample-Driven Conceptual Reasoning in Mathematical LLMs

February 12, 2025

著者: Yinghui Li, Jiayi Kuang, Haojing Huang, Zhikun Xu, Xinnian Liang, Yi Yu, Wenlian Lu, Yangning Li, Xiaoyu Tan, Chao Qu, Ying Shen, Hai-Tao Zheng, Philip S. Yu

cs.AI

要旨

数学的大規模言語モデル（LLMs）を活用した証明生成は、LLMs研究における基本的なトピックです。現在のLLMsが文を証明する能力は、トレーニング中に関連する証明プロセスに遭遇したかどうかに大きく依存すると主張します。この依存性は、数学定理や関連する概念のより深い理解を制限します。人間の数学教育で一般的に使用される「反例による証明」という教育方法から着想を得て、私たちの研究は、LLMsが数学的推論と証明を行う能力を向上させることを目指しています。具体的には、高品質の大学レベルの数学ベンチマークであるCounterMATHを手動で作成し、LLMsに数学的文を反例を提供して証明させ、数学的概念の把握を評価します。さらに、モデルの改善のためにトレーニングデータを自動的に取得するためのデータエンジニアリングフレームワークを開発します。包括的な実験と詳細な分析により、CounterMATHが難しいことが示され、OpenAI o1などのLLMsが不十分な反例に基づく証明能力を持っていることが示されます。さらに、モデルのトレーニングにおける探求から、LLMsの反例に基づく概念的推論能力を強化することが、彼らの全体的な数学的能力を向上させるために重要であることが明らかになります。私たちの研究が数学的LLMsコミュニティに新しい視点を提供していると考えています。

English

Leveraging mathematical Large Language Models (LLMs) for proof generation is a fundamental topic in LLMs research. We argue that the ability of current LLMs to prove statements largely depends on whether they have encountered the relevant proof process during training. This reliance limits their deeper understanding of mathematical theorems and related concepts. Inspired by the pedagogical method of "proof by counterexamples" commonly used in human mathematics education, our work aims to enhance LLMs' ability to conduct mathematical reasoning and proof through counterexamples. Specifically, we manually create a high-quality, university-level mathematical benchmark, CounterMATH, which requires LLMs to prove mathematical statements by providing counterexamples, thereby assessing their grasp of mathematical concepts. Additionally, we develop a data engineering framework to automatically obtain training data for further model improvement. Extensive experiments and detailed analyses demonstrate that CounterMATH is challenging, indicating that LLMs, such as OpenAI o1, have insufficient counterexample-driven proof capabilities. Moreover, our exploration into model training reveals that strengthening LLMs' counterexample-driven conceptual reasoning abilities is crucial for improving their overall mathematical capabilities. We believe that our work offers new perspectives on the community of mathematical LLMs.