HorizonMath: Измерение прогресса ИИ в математических открытиях с помощью автоматической проверки

HorizonMath: Measuring AI Progress Toward Mathematical Discovery with Automatic Verification

March 16, 2026

Авторы: Erik Y. Wang, Sumeet Motwani, James V. Roggeveen, Eliot Hodges, Dulhan Jayalath, Charles London, Kalyan Ramakrishnan, Flaviu Cipcigan, Philip Torr, Alessandro Abate

cs.AI

Аннотация

Способен ли искусственный интеллект добиться прогресса в решении важных нерешенных математических проблем? Крупные языковые модели теперь способны к сложным математическим и научным рассуждениям, но вопрос о том, могут ли они проводить новые исследования, остается предметом широких дискуссий и недостаточно изучен. Мы представляем HorizonMath — набор из более чем 100 преимущественно нерешенных проблем, охватывающих 8 областей вычислительной и прикладной математики, в сочетании с открытой системой оценки для автоматической проверки. Наш бенчмарк ориентирован на класс проблем, где открытие является сложным, требующим содержательного математического прорыва, но проверка вычислительно эффективна и проста. Поскольку решения этих проблем неизвестны, HorizonMath защищен от загрязнения данных, и большинство современных моделей показывают результат близкий к 0%. Существующие бенчмарки исследовательского уровня, напротив, полагаются на верификацию формальных доказательств или ручную проверку, что дорого масштабировать. Используя эту платформу, мы обнаружили две проблемы, для которых GPT 5.4 Pro предлагает решения, превосходящие лучшие из опубликованных результатов, что представляет потенциально новые вклады (требующие экспертной оценки). Мы публикуем HorizonMath как открытый вызов и развивающийся общедоступный ресурс, где корректные решения проблем из классов нерешенных задач могут стать новыми результатами в математической литературе.

English

Can AI make progress on important, unsolved mathematical problems? Large language models are now capable of sophisticated mathematical and scientific reasoning, but whether they can perform novel research is still widely debated and underexplored. We introduce HorizonMath, a benchmark of over 100 predominantly unsolved problems spanning 8 domains in computational and applied mathematics, paired with an open-source evaluation framework for automated verification. Our benchmark targets a class of problems where discovery is hard, requiring meaningful mathematical insight, but verification is computationally efficient and simple. Because these solutions are unknown, HorizonMath is immune to data contamination, and most state-of-the-art models score near 0%. Existing research-level benchmarks instead rely on formal proof verification or manual review, both of which are expensive to scale. Using this platform, we find two problems for which GPT 5.4 Pro proposes solutions that improve on the best-known published results, representing potential novel contributions (pending expert review). We release HorizonMath as an open challenge and a growing community resource, where correct solutions to problems in the unsolved problem classes could constitute novel results in the mathematical literature.