Ongelijkheidsbewijzen oplossen met grote taalmodellen

Samenvatting

Ongelijkheden bewijzen, cruciaal in diverse wetenschappelijke en wiskundige gebieden, test geavanceerde redeneervaardigheden zoals het ontdekken van strakke grenzen en strategische toepassing van stellingen. Dit maakt het een uniek, uitdagend front voor grote taalmodellen (LLMs), wat inzichten biedt die verder gaan dan algemeen wiskundig probleemoplossen. Vooruitgang op dit gebied wordt belemmerd door bestaande datasets die vaak schaars, synthetisch of rigide formeel zijn. Wij pakken dit aan door een informele maar verifieerbare taakformulering voor te stellen, waarbij het bewijzen van ongelijkheden wordt omgezet in twee automatisch controleerbare subtaken: grensschatting en relatievoorspelling. Hierop voortbouwend, brengen we IneqMath uit, een door experts samengestelde dataset van Olympiade-niveau ongelijkheden, inclusief een testset en een trainingscorpus verrijkt met stapsgewijze oplossingen en stellingannotaties. We ontwikkelen ook een nieuw LLM-as-judge evaluatieraamwerk, dat een eindantwoordrechter combineert met vier stapsgewijze rechters die zijn ontworpen om veelvoorkomende redeneerfouten te detecteren. Een systematische evaluatie van 29 toonaangevende LLMs op IneqMath onthult een verrassende realiteit: zelfs topmodellen zoals o1 behalen minder dan 10% algehele nauwkeurigheid onder stapsgewijze controle; dit is een daling van tot 65,5% ten opzichte van hun nauwkeurigheid wanneer alleen naar eindantwoordequivalentie wordt gekeken. Dit verschil bloot kwetsbare deductieve ketens en een kritieke kloof voor huidige LLMs tussen slechts een antwoord vinden en een rigoureus bewijs construeren. Het opschalen van de modelgrootte en het verhogen van de rekentijd tijdens het testen leveren beperkte winst op in de algehele bewijscorrectheid. In plaats daarvan benadrukken onze bevindingen veelbelovende onderzoeksrichtingen zoals stellinggestuurd redeneren en zelfverfijning. Code en data zijn beschikbaar op https://ineqmath.github.io/.

English

Inequality proving, crucial across diverse scientific and mathematical fields, tests advanced reasoning skills such as discovering tight bounds and strategic theorem application. This makes it a distinct, demanding frontier for large language models (LLMs), offering insights beyond general mathematical problem-solving. Progress in this area is hampered by existing datasets that are often scarce, synthetic, or rigidly formal. We address this by proposing an informal yet verifiable task formulation, recasting inequality proving into two automatically checkable subtasks: bound estimation and relation prediction. Building on this, we release IneqMath, an expert-curated dataset of Olympiad-level inequalities, including a test set and training corpus enriched with step-wise solutions and theorem annotations. We also develop a novel LLM-as-judge evaluation framework, combining a final-answer judge with four step-wise judges designed to detect common reasoning flaws. A systematic evaluation of 29 leading LLMs on IneqMath reveals a surprising reality: even top models like o1 achieve less than 10% overall accuracy under step-wise scrutiny; this is a drop of up to 65.5% from their accuracy considering only final answer equivalence. This discrepancy exposes fragile deductive chains and a critical gap for current LLMs between merely finding an answer and constructing a rigorous proof. Scaling model size and increasing test-time computation yield limited gains in overall proof correctness. Instead, our findings highlight promising research directions such as theorem-guided reasoning and self-refinement. Code and data are available at https://ineqmath.github.io/.

Ongelijkheidsbewijzen oplossen met grote taalmodellen

Solving Inequality Proofs with Large Language Models

Samenvatting

Support