HorizonMath : Mesurer les progrès de l'IA en matière de découverte mathématique avec vérification automatique
HorizonMath: Measuring AI Progress Toward Mathematical Discovery with Automatic Verification
March 16, 2026
Auteurs: Erik Y. Wang, Sumeet Motwani, James V. Roggeveen, Eliot Hodges, Dulhan Jayalath, Charles London, Kalyan Ramakrishnan, Flaviu Cipcigan, Philip Torr, Alessandro Abate
cs.AI
Résumé
L'IA peut-elle progresser sur d'importants problèmes mathématiques non résolus ? Les grands modèles de langage sont désormais capables de raisonnements mathématiques et scientifiques sophistiqués, mais leur capacité à mener des recherches véritablement novatrices reste largement débattue et insuffisamment explorée. Nous présentons HorizonMath, un benchmark de plus de 100 problèmes majoritairement non résolus couvrant 8 domaines des mathématiques appliquées et computationnelles, associé à un cadre d'évaluation open-source pour la vérification automatisée. Notre benchmark cible une classe de problèmes où la découverte est difficile, exigeant une intuition mathématique significative, mais où la vérification est computationnellement efficace et simple. Comme ces solutions sont inconnues, HorizonMath est immunisé contre la contamination des données, et la plupart des modèles de pointe obtiennent des scores proches de 0 %. Les benchmarks existants de niveau recherche reposent plutôt sur la vérification formelle de preuves ou l'examen manuel, deux approches coûteuses à mettre à l'échelle. En utilisant cette plateforme, nous identifions deux problèmes pour lesquels GPT 5.4 Pro propose des solutions qui améliorent les meilleurs résultats publiés connus, représentant des contributions potentielles (sous réserve d'expertise). Nous publions HorizonMath comme un défi ouvert et une ressource communautaire évolutive, où les solutions correctes aux problèmes des classes non résolues pourraient constituer des résultats novateurs dans la littérature mathématique.
English
Can AI make progress on important, unsolved mathematical problems? Large language models are now capable of sophisticated mathematical and scientific reasoning, but whether they can perform novel research is still widely debated and underexplored. We introduce HorizonMath, a benchmark of over 100 predominantly unsolved problems spanning 8 domains in computational and applied mathematics, paired with an open-source evaluation framework for automated verification. Our benchmark targets a class of problems where discovery is hard, requiring meaningful mathematical insight, but verification is computationally efficient and simple. Because these solutions are unknown, HorizonMath is immune to data contamination, and most state-of-the-art models score near 0%. Existing research-level benchmarks instead rely on formal proof verification or manual review, both of which are expensive to scale. Using this platform, we find two problems for which GPT 5.4 Pro proposes solutions that improve on the best-known published results, representing potential novel contributions (pending expert review). We release HorizonMath as an open challenge and a growing community resource, where correct solutions to problems in the unsolved problem classes could constitute novel results in the mathematical literature.