HorizonMath: Misurare il Progresso dell'IA nella Scoperta Matematica con Verifica Automatica
HorizonMath: Measuring AI Progress Toward Mathematical Discovery with Automatic Verification
March 16, 2026
Autori: Erik Y. Wang, Sumeet Motwani, James V. Roggeveen, Eliot Hodges, Dulhan Jayalath, Charles London, Kalyan Ramakrishnan, Flaviu Cipcigan, Philip Torr, Alessandro Abate
cs.AI
Abstract
L’IA può compiere progressi su importanti problemi matematici irrisolti? I grandi modelli linguistici sono ora in grado di ragionamenti matematici e scientifici sofisticati, ma la loro capacità di condurre ricerche originali è ancora ampiamente dibattuta e poco esplorata. Presentiamo HorizonMath, un benchmark di oltre 100 problemi prevalentemente irrisolti che coprono 8 domini della matematica computazionale e applicata, abbinato a un framework di valutazione open-source per la verifica automatizzata. Il nostro benchmark si concentra su una classe di problemi in cui la scoperta è difficile, poiché richiede un’intuizione matematica significativa, ma la verifica è computazionalmente efficiente e semplice. Poiché queste soluzioni sono sconosciute, HorizonMath è immune alla contaminazione dei dati, e la maggior parte dei modelli all’avanguardia ottiene punteggi prossimi allo 0%. I benchmark esistenti di livello ricerca si basano invece sulla verifica formale di dimostrazioni o sulla revisione manuale, entrambe costose da scalare. Utilizzando questa piattaforma, abbiamo identificato due problemi per i quali GPT 5.4 Pro propone soluzioni che migliorano i migliori risultati pubblicati noti, rappresentando potenziali contributi originali (in attesa di revisione esperta). Rilasciamo HorizonMath come una sfida aperta e una risorsa comunitaria in crescita, dove soluzioni corrette ai problemi nelle classi irrisolte potrebbero costituire risultati innovativi nella letteratura matematica.
English
Can AI make progress on important, unsolved mathematical problems? Large language models are now capable of sophisticated mathematical and scientific reasoning, but whether they can perform novel research is still widely debated and underexplored. We introduce HorizonMath, a benchmark of over 100 predominantly unsolved problems spanning 8 domains in computational and applied mathematics, paired with an open-source evaluation framework for automated verification. Our benchmark targets a class of problems where discovery is hard, requiring meaningful mathematical insight, but verification is computationally efficient and simple. Because these solutions are unknown, HorizonMath is immune to data contamination, and most state-of-the-art models score near 0%. Existing research-level benchmarks instead rely on formal proof verification or manual review, both of which are expensive to scale. Using this platform, we find two problems for which GPT 5.4 Pro proposes solutions that improve on the best-known published results, representing potential novel contributions (pending expert review). We release HorizonMath as an open challenge and a growing community resource, where correct solutions to problems in the unsolved problem classes could constitute novel results in the mathematical literature.