Исследование критической точки (CritPt) в рассуждениях ИИ: эталонный тест для исследований на стыке с физикой

Аннотация

Хотя крупные языковые модели (LLM) с возможностями логического рассуждения быстро прогрессируют в решении задач школьных математических олимпиад и программирования, могут ли они эффективно рассуждать в сложных, открытых задачах, встречающихся на переднем крае физических исследований? И, что особенно важно, с какими типами задач рассуждений физики хотели бы, чтобы LLM помогали? Чтобы ответить на эти вопросы, мы представляем CritPt (Complex Research using Integrated Thinking - Physics Test, произносится как "критическая точка") — первый бенчмарк, разработанный для тестирования LLM на неопубликованных, исследовательских задачах, охватывающих широкий спектр современных областей физики, включая физику конденсированного состояния, квантовую физику, атомную, молекулярную и оптическую физику, астрофизику, физику высоких энергий, математическую физику, статистическую физику, ядерную физику, нелинейную динамику, гидродинамику и биофизику. CritPt состоит из 71 составной исследовательской задачи, разработанной для моделирования полноценных исследовательских проектов начального уровня, которые также разбиты на 190 более простых контрольных задач для получения более детализированных данных. Все задачи созданы более чем 50 активными исследователями в области физики на основе их собственных исследований. Каждая задача тщательно отобрана, чтобы иметь устойчивый к угадыванию и проверяемый машиной ответ, и оценивается с помощью автоматизированной системы проверки, адаптированной для сложных физических форматов вывода. Мы обнаружили, что хотя современные LLM демонстрируют первые успехи в решении изолированных контрольных задач, они пока далеки от надежного решения полноценных исследовательских задач: лучшая средняя точность среди базовых моделей составляет всего 4,0%, достигнутая GPT-5 (высокий уровень), и умеренно повышается до около 10% при использовании инструментов программирования. Благодаря реалистичной, но стандартизированной оценке, предлагаемой CritPt, мы подчеркиваем значительный разрыв между текущими возможностями моделей и реальными потребностями физических исследований, предлагая основу для разработки научно обоснованных инструментов ИИ.

English

While large language models (LLMs) with reasoning capabilities are progressing rapidly on high-school math competitions and coding, can they reason effectively through complex, open-ended challenges found in frontier physics research? And crucially, what kinds of reasoning tasks do physicists want LLMs to assist with? To address these questions, we present the CritPt (Complex Research using Integrated Thinking - Physics Test, pronounced "critical point"), the first benchmark designed to test LLMs on unpublished, research-level reasoning tasks that broadly covers modern physics research areas, including condensed matter, quantum physics, atomic, molecular & optical physics, astrophysics, high energy physics, mathematical physics, statistical physics, nuclear physics, nonlinear dynamics, fluid dynamics and biophysics. CritPt consists of 71 composite research challenges designed to simulate full-scale research projects at the entry level, which are also decomposed to 190 simpler checkpoint tasks for more fine-grained insights. All problems are newly created by 50+ active physics researchers based on their own research. Every problem is hand-curated to admit a guess-resistant and machine-verifiable answer and is evaluated by an automated grading pipeline heavily customized for advanced physics-specific output formats. We find that while current state-of-the-art LLMs show early promise on isolated checkpoints, they remain far from being able to reliably solve full research-scale challenges: the best average accuracy among base models is only 4.0% , achieved by GPT-5 (high), moderately rising to around 10% when equipped with coding tools. Through the realistic yet standardized evaluation offered by CritPt, we highlight a large disconnect between current model capabilities and realistic physics research demands, offering a foundation to guide the development of scientifically grounded AI tools.

Исследование критической точки (CritPt) в рассуждениях ИИ: эталонный тест для исследований на стыке с физикой

Probing the Critical Point (CritPt) of AI Reasoning: a Frontier Physics Research Benchmark

Аннотация

Support