Erkundung des kritischen Punkts (CritPt) der KI-Argumentation: Ein Benchmark für die Forschung in der Grenzphysik

Probing the Critical Point (CritPt) of AI Reasoning: a Frontier Physics Research Benchmark

September 30, 2025

papers.authors: Minhui Zhu, Minyang Tian, Xiaocheng Yang, Tianci Zhou, Penghao Zhu, Eli Chertkov, Shengyan Liu, Yufeng Du, Lifan Yuan, Ziming Ji, Indranil Das, Junyi Cao, Yufeng Du, Jinchen He, Yifan Su, Jiabin Yu, Yikun Jiang, Yujie Zhang, Chang Liu, Ze-Min Huang, Weizhen Jia, Xinan Chen, Peixue Wu, Yunkai Wang, Juntai Zhou, Yong Zhao, Farshid Jafarpour, Jessie Shelton, Aaron Young, John Bartolotta, Wenchao Xu, Yue Sun, Anjun Chu, Victor Colussi, Chris Akers, Nathan Brooks, Wenbo Fu, Christopher Wilson, Jinchao Zhao, Marvin Qi, Anqi Mu, Yubo Yang, Allen Zang, Yang Lyu, Peizhi Mai, Xuefei Guo, Luyu Gao, Ze Yang, Chi Xue, Dmytro Bandak, Yaïr Hein, Yonatan Kahn, Kevin Zhou, John Drew Wilson Jarrod T. Reilly, Di Luo, Daniel Inafuku, Hao Tong, Liang Yang, Ruixing Zhang, Xueying Wang, Ofir Press, Nicolas Chia, Eliu Huerta, Hao Peng

cs.AI

papers.abstract

Während große Sprachmodelle (LLMs) mit Fähigkeiten zum logischen Denken in Bezug auf High-School-Mathematikwettbewerbe und Programmierung rasche Fortschritte machen, können sie effektiv durch komplexe, offene Herausforderungen vordringen, wie sie in der Spitzenphysikforschung zu finden sind? Und vor allem: Bei welchen Arten von Denkaufgaben möchten Physiker, dass LLMs sie unterstützen? Um diese Fragen zu beantworten, stellen wir CritPt (Complex Research using Integrated Thinking - Physics Test, ausgesprochen „critical point“) vor, den ersten Benchmark, der entwickelt wurde, um LLMs an unveröffentlichten, forschungsnahen Denkaufgaben zu testen, die breite Bereiche der modernen Physikforschung abdecken, einschließlich kondensierter Materie, Quantenphysik, Atom-, Molekül- und Optischer Physik, Astrophysik, Hochenergiephysik, mathematischer Physik, statistischer Physik, Kernphysik, nichtlinearer Dynamik, Strömungsdynamik und Biophysik. CritPt besteht aus 71 zusammengesetzten Forschungsherausforderungen, die dazu dienen, vollständige Forschungsprojekte auf Einstiegsniveau zu simulieren, die auch in 190 einfachere Checkpoint-Aufgaben unterteilt sind, um detailliertere Einblicke zu ermöglichen. Alle Probleme wurden neu von über 50 aktiven Physikforschern auf der Grundlage ihrer eigenen Forschung erstellt. Jedes Problem wurde sorgfältig kuratiert, um eine ratresistente und maschinenüberprüfbare Antwort zuzulassen, und wird durch eine automatisierte Bewertungspipeline evaluiert, die stark für fortgeschrittene physikspezifische Ausgabeformate angepasst ist. Wir stellen fest, dass aktuelle state-of-the-art LLMs zwar frühe Erfolge bei isolierten Checkpoints zeigen, sie jedoch weit davon entfernt sind, vollständige forschungsnahe Herausforderungen zuverlässig zu lösen: Die beste durchschnittliche Genauigkeit unter den Basismodellen beträgt nur 4,0 %, erreicht von GPT-5 (hoch), und steigt mäßig auf etwa 10 %, wenn sie mit Programmierwerkzeugen ausgestattet sind. Durch die realistische, aber standardisierte Bewertung, die CritPt bietet, heben wir eine große Diskrepanz zwischen den aktuellen Modellfähigkeiten und den realistischen Anforderungen der Physikforschung hervor und bieten eine Grundlage, um die Entwicklung wissenschaftlich fundierter KI-Tools zu leiten.

English

While large language models (LLMs) with reasoning capabilities are progressing rapidly on high-school math competitions and coding, can they reason effectively through complex, open-ended challenges found in frontier physics research? And crucially, what kinds of reasoning tasks do physicists want LLMs to assist with? To address these questions, we present the CritPt (Complex Research using Integrated Thinking - Physics Test, pronounced "critical point"), the first benchmark designed to test LLMs on unpublished, research-level reasoning tasks that broadly covers modern physics research areas, including condensed matter, quantum physics, atomic, molecular & optical physics, astrophysics, high energy physics, mathematical physics, statistical physics, nuclear physics, nonlinear dynamics, fluid dynamics and biophysics. CritPt consists of 71 composite research challenges designed to simulate full-scale research projects at the entry level, which are also decomposed to 190 simpler checkpoint tasks for more fine-grained insights. All problems are newly created by 50+ active physics researchers based on their own research. Every problem is hand-curated to admit a guess-resistant and machine-verifiable answer and is evaluated by an automated grading pipeline heavily customized for advanced physics-specific output formats. We find that while current state-of-the-art LLMs show early promise on isolated checkpoints, they remain far from being able to reliably solve full research-scale challenges: the best average accuracy among base models is only 4.0% , achieved by GPT-5 (high), moderately rising to around 10% when equipped with coding tools. Through the realistic yet standardized evaluation offered by CritPt, we highlight a large disconnect between current model capabilities and realistic physics research demands, offering a foundation to guide the development of scientifically grounded AI tools.