HorizonMath: Medición del Progreso de la IA hacia el Descubrimiento Matemático con Verificación Automática
HorizonMath: Measuring AI Progress Toward Mathematical Discovery with Automatic Verification
March 16, 2026
Autores: Erik Y. Wang, Sumeet Motwani, James V. Roggeveen, Eliot Hodges, Dulhan Jayalath, Charles London, Kalyan Ramakrishnan, Flaviu Cipcigan, Philip Torr, Alessandro Abate
cs.AI
Resumen
¿Puede la IA avanzar en problemas matemáticos importantes sin resolver? Los grandes modelos de lenguaje son ahora capaces de realizar razonamientos matemáticos y científicos sofisticados, pero si pueden llevar a cabo investigación novedosa es aún ampliamente debatido y poco explorado. Presentamos HorizonMath, un benchmark de más de 100 problemas predominantemente sin resolver que abarcan 8 dominios en matemáticas computacionales y aplicadas, junto con un marco de evaluación de código abierto para la verificación automatizada. Nuestro benchmark se centra en una clase de problemas donde el descubrimiento es difícil, ya que requiere una comprensión matemática significativa, pero la verificación es computacionalmente eficiente y sencilla. Dado que estas soluciones son desconocidas, HorizonMath es inmune a la contaminación de datos, y la mayoría de los modelos de última generación obtienen puntuaciones cercanas al 0%. Los benchmarks existentes a nivel de investigación, en cambio, dependen de la verificación formal de pruebas o de la revisión manual, ambos costosos de escalar. Utilizando esta plataforma, encontramos dos problemas para los cuales GPT 5.4 Pro propone soluciones que mejoran los mejores resultados publicados conocidos, lo que representa posibles contribuciones novedosas (pendientes de revisión experta). Publicamos HorizonMath como un desafío abierto y un recurso comunitario en crecimiento, donde las soluciones correctas a los problemas en las clases de problemas no resueltos podrían constituir resultados novedosos en la literatura matemática.
English
Can AI make progress on important, unsolved mathematical problems? Large language models are now capable of sophisticated mathematical and scientific reasoning, but whether they can perform novel research is still widely debated and underexplored. We introduce HorizonMath, a benchmark of over 100 predominantly unsolved problems spanning 8 domains in computational and applied mathematics, paired with an open-source evaluation framework for automated verification. Our benchmark targets a class of problems where discovery is hard, requiring meaningful mathematical insight, but verification is computationally efficient and simple. Because these solutions are unknown, HorizonMath is immune to data contamination, and most state-of-the-art models score near 0%. Existing research-level benchmarks instead rely on formal proof verification or manual review, both of which are expensive to scale. Using this platform, we find two problems for which GPT 5.4 Pro proposes solutions that improve on the best-known published results, representing potential novel contributions (pending expert review). We release HorizonMath as an open challenge and a growing community resource, where correct solutions to problems in the unsolved problem classes could constitute novel results in the mathematical literature.