HorizonMath: Het Meten van AI-Voortgang Richting Wiskundige Ontdekking met Automatische Verificatie
HorizonMath: Measuring AI Progress Toward Mathematical Discovery with Automatic Verification
March 16, 2026
Auteurs: Erik Y. Wang, Sumeet Motwani, James V. Roggeveen, Eliot Hodges, Dulhan Jayalath, Charles London, Kalyan Ramakrishnan, Flaviu Cipcigan, Philip Torr, Alessandro Abate
cs.AI
Samenvatting
Kan AI vooruitgang boeken op belangrijke, onopgeloste wiskundige problemen? Grote taalmodel(len) zijn nu in staat tot geavanceerd wiskundig en wetenschappelijk redeneren, maar of ze nieuw onderzoek kunnen verrichten wordt nog breed gedebatteerd en is onderbelicht. Wij introduceren HorizonMath, een benchmark met meer dan 100 overwegend onopgeloste problemen uit 8 domeinen in de computationele en toegepaste wiskunde, gekoppeld aan een open-source evaluatieraamwerk voor geautomatiseerde verificatie. Onze benchmark richt zich op een klasse problemen waarbij ontdekking moeilijk is en zinvol wiskundig inzicht vereist, maar verificatie computationeel efficiënt en eenvoudig is. Omdat deze oplossingen onbekend zijn, is HorizonMath immuun voor datacontaminatie, en scoren de meeste state-of-the-art modellen er bijna 0% op. Bestaande benchmarks op onderzoeksniveau vertrouwen daarentegen op formele proof-verificatie of handmatige beoordeling, die beide duur zijn om op te schalen. Met dit platform vinden we twee problemen waarvoor GPT 5.4 Pro oplossingen voorstelt die de beste gepubliceerde resultaten verbeteren, wat mogelijke nieuwe bijdragen vertegenwoordigt (in afwachting van expertbeoordeling). Wij lanceren HorizonMath als een open uitdaging en een groeiende gemeenschapsbron, waarbij correcte oplossingen voor problemen in de onopgeloste probleemklassen nieuwe resultaten in de wiskundige literatuur zouden kunnen vormen.
English
Can AI make progress on important, unsolved mathematical problems? Large language models are now capable of sophisticated mathematical and scientific reasoning, but whether they can perform novel research is still widely debated and underexplored. We introduce HorizonMath, a benchmark of over 100 predominantly unsolved problems spanning 8 domains in computational and applied mathematics, paired with an open-source evaluation framework for automated verification. Our benchmark targets a class of problems where discovery is hard, requiring meaningful mathematical insight, but verification is computationally efficient and simple. Because these solutions are unknown, HorizonMath is immune to data contamination, and most state-of-the-art models score near 0%. Existing research-level benchmarks instead rely on formal proof verification or manual review, both of which are expensive to scale. Using this platform, we find two problems for which GPT 5.4 Pro proposes solutions that improve on the best-known published results, representing potential novel contributions (pending expert review). We release HorizonMath as an open challenge and a growing community resource, where correct solutions to problems in the unsolved problem classes could constitute novel results in the mathematical literature.