HorizonMath: Medindo o Progresso da IA Rumo à Descoberta Matemática com Verificação Automática
HorizonMath: Measuring AI Progress Toward Mathematical Discovery with Automatic Verification
March 16, 2026
Autores: Erik Y. Wang, Sumeet Motwani, James V. Roggeveen, Eliot Hodges, Dulhan Jayalath, Charles London, Kalyan Ramakrishnan, Flaviu Cipcigan, Philip Torr, Alessandro Abate
cs.AI
Resumo
A IA pode fazer progresso em problemas matemáticos importantes e não resolvidos? Modelos de linguagem de grande porte são agora capazes de raciocínio matemático e científico sofisticado, mas a sua capacidade de realizar pesquisas genuinamente novas ainda é amplamente debatida e pouco explorada. Apresentamos o HorizonMath, um benchmark com mais de 100 problemas predominantemente não resolvidos, abrangendo 8 domínios da matemática computacional e aplicada, acompanhado de uma estrutura de avaliação de código aberto para verificação automatizada. O nosso benchmark foca-se numa classe de problemas em que a descoberta é difícil, exigindo um insight matemático significativo, mas onde a verificação é computacionalmente eficiente e simples. Como estas soluções são desconhecidas, o HorizonMath é imune à contaminação de dados, e a maioria dos modelos state-of-the-art tem pontuações próximas de 0%. Os benchmarks existentes ao nível da investigação, em contraste, dependem de verificação formal de provas ou revisão manual, ambos dispendiosos para escalar. Usando esta plataforma, encontramos dois problemas para os quais o GPT 5.4 Pro propõe soluções que melhoram os melhores resultados publicados conhecidos, representando potenciais contribuições novas (sujeitas a revisão por especialistas). Disponibilizamos o HorizonMath como um desafio aberto e um recurso comunitário em crescimento, onde soluções corretas para problemas nas classes de problemas não resolvidos poderão constituir resultados novos na literatura matemática.
English
Can AI make progress on important, unsolved mathematical problems? Large language models are now capable of sophisticated mathematical and scientific reasoning, but whether they can perform novel research is still widely debated and underexplored. We introduce HorizonMath, a benchmark of over 100 predominantly unsolved problems spanning 8 domains in computational and applied mathematics, paired with an open-source evaluation framework for automated verification. Our benchmark targets a class of problems where discovery is hard, requiring meaningful mathematical insight, but verification is computationally efficient and simple. Because these solutions are unknown, HorizonMath is immune to data contamination, and most state-of-the-art models score near 0%. Existing research-level benchmarks instead rely on formal proof verification or manual review, both of which are expensive to scale. Using this platform, we find two problems for which GPT 5.4 Pro proposes solutions that improve on the best-known published results, representing potential novel contributions (pending expert review). We release HorizonMath as an open challenge and a growing community resource, where correct solutions to problems in the unsolved problem classes could constitute novel results in the mathematical literature.