Explorando el Punto Crítico (CritPt) del Razonamiento en IA: un Referente de Investigación en la Frontera de la Física

Probing the Critical Point (CritPt) of AI Reasoning: a Frontier Physics Research Benchmark

September 30, 2025

Autores: Minhui Zhu, Minyang Tian, Xiaocheng Yang, Tianci Zhou, Penghao Zhu, Eli Chertkov, Shengyan Liu, Yufeng Du, Lifan Yuan, Ziming Ji, Indranil Das, Junyi Cao, Yufeng Du, Jinchen He, Yifan Su, Jiabin Yu, Yikun Jiang, Yujie Zhang, Chang Liu, Ze-Min Huang, Weizhen Jia, Xinan Chen, Peixue Wu, Yunkai Wang, Juntai Zhou, Yong Zhao, Farshid Jafarpour, Jessie Shelton, Aaron Young, John Bartolotta, Wenchao Xu, Yue Sun, Anjun Chu, Victor Colussi, Chris Akers, Nathan Brooks, Wenbo Fu, Christopher Wilson, Jinchao Zhao, Marvin Qi, Anqi Mu, Yubo Yang, Allen Zang, Yang Lyu, Peizhi Mai, Xuefei Guo, Luyu Gao, Ze Yang, Chi Xue, Dmytro Bandak, Yaïr Hein, Yonatan Kahn, Kevin Zhou, John Drew Wilson Jarrod T. Reilly, Di Luo, Daniel Inafuku, Hao Tong, Liang Yang, Ruixing Zhang, Xueying Wang, Ofir Press, Nicolas Chia, Eliu Huerta, Hao Peng

cs.AI

Resumen

Si bien los modelos de lenguaje grandes (LLMs) con capacidades de razonamiento están avanzando rápidamente en competencias matemáticas de nivel secundario y en programación, ¿pueden razonar efectivamente a través de desafíos complejos y abiertos que se encuentran en la investigación de frontera en física? Y, crucialmente, ¿qué tipos de tareas de razonamiento quieren los físicos que los LLMs les ayuden a resolver? Para abordar estas preguntas, presentamos CritPt (Complex Research using Integrated Thinking - Physics Test, pronunciado "punto crítico"), el primer punto de referencia diseñado para evaluar LLMs en tareas de razonamiento a nivel de investigación no publicadas que cubren ampliamente áreas modernas de investigación en física, incluyendo materia condensada, física cuántica, física atómica, molecular y óptica, astrofísica, física de altas energías, física matemática, física estadística, física nuclear, dinámica no lineal, dinámica de fluidos y biofísica. CritPt consta de 71 desafíos de investigación compuestos diseñados para simular proyectos de investigación completos a nivel de entrada, los cuales también se descomponen en 190 tareas de puntos de control más simples para obtener insights más detallados. Todos los problemas son creados recientemente por más de 50 investigadores activos en física basados en su propia investigación. Cada problema es cuidadosamente seleccionado para admitir una respuesta resistente a conjeturas y verificable por máquina, y es evaluado mediante una canalización de calificación automatizada altamente personalizada para formatos de salida específicos de física avanzada. Encontramos que, aunque los LLMs de última generación actuales muestran una promesa temprana en puntos de control aislados, todavía están lejos de poder resolver de manera confiable desafíos completos a escala de investigación: la mejor precisión promedio entre los modelos base es solo del 4.0%, lograda por GPT-5 (alto), aumentando moderadamente a alrededor del 10% cuando se equipan con herramientas de programación. A través de la evaluación realista pero estandarizada que ofrece CritPt, destacamos una gran desconexión entre las capacidades actuales de los modelos y las demandas realistas de investigación en física, ofreciendo una base para guiar el desarrollo de herramientas de IA fundamentadas científicamente.

English

While large language models (LLMs) with reasoning capabilities are progressing rapidly on high-school math competitions and coding, can they reason effectively through complex, open-ended challenges found in frontier physics research? And crucially, what kinds of reasoning tasks do physicists want LLMs to assist with? To address these questions, we present the CritPt (Complex Research using Integrated Thinking - Physics Test, pronounced "critical point"), the first benchmark designed to test LLMs on unpublished, research-level reasoning tasks that broadly covers modern physics research areas, including condensed matter, quantum physics, atomic, molecular & optical physics, astrophysics, high energy physics, mathematical physics, statistical physics, nuclear physics, nonlinear dynamics, fluid dynamics and biophysics. CritPt consists of 71 composite research challenges designed to simulate full-scale research projects at the entry level, which are also decomposed to 190 simpler checkpoint tasks for more fine-grained insights. All problems are newly created by 50+ active physics researchers based on their own research. Every problem is hand-curated to admit a guess-resistant and machine-verifiable answer and is evaluated by an automated grading pipeline heavily customized for advanced physics-specific output formats. We find that while current state-of-the-art LLMs show early promise on isolated checkpoints, they remain far from being able to reliably solve full research-scale challenges: the best average accuracy among base models is only 4.0% , achieved by GPT-5 (high), moderately rising to around 10% when equipped with coding tools. Through the realistic yet standardized evaluation offered by CritPt, we highlight a large disconnect between current model capabilities and realistic physics research demands, offering a foundation to guide the development of scientifically grounded AI tools.