FÍSICA: Evaluación de Modelos Fundacionales en la Resolución de Problemas de Física a Nivel Universitario

PHYSICS: Benchmarking Foundation Models on University-Level Physics Problem Solving

March 26, 2025

Autores: Kaiyue Feng, Yilun Zhao, Yixin Liu, Tianyu Yang, Chen Zhao, John Sous, Arman Cohan

cs.AI

Resumen

Presentamos PHYSICS, un punto de referencia integral para la resolución de problemas de física a nivel universitario. Contiene 1297 problemas anotados por expertos que abarcan seis áreas principales: mecánica clásica, mecánica cuántica, termodinámica y mecánica estadística, electromagnetismo, física atómica y óptica. Cada problema requiere conocimientos avanzados de física y razonamiento matemático. Desarrollamos un sistema de evaluación automatizado robusto para una validación precisa y confiable. Nuestra evaluación de los principales modelos base revela limitaciones significativas. Incluso el modelo más avanzado, o3-mini, alcanza solo un 59.9% de precisión, lo que destaca los desafíos considerables en la resolución de problemas científicos de alto nivel. A través de un análisis exhaustivo de errores, la exploración de diversas estrategias de indicación (prompting) y la ampliación de conocimiento basada en Generación Aumentada por Recuperación (RAG), identificamos áreas clave para la mejora, sentando las bases para avances futuros.

English

We introduce PHYSICS, a comprehensive benchmark for university-level physics problem solving. It contains 1297 expert-annotated problems covering six core areas: classical mechanics, quantum mechanics, thermodynamics and statistical mechanics, electromagnetism, atomic physics, and optics. Each problem requires advanced physics knowledge and mathematical reasoning. We develop a robust automated evaluation system for precise and reliable validation. Our evaluation of leading foundation models reveals substantial limitations. Even the most advanced model, o3-mini, achieves only 59.9% accuracy, highlighting significant challenges in solving high-level scientific problems. Through comprehensive error analysis, exploration of diverse prompting strategies, and Retrieval-Augmented Generation (RAG)-based knowledge augmentation, we identify key areas for improvement, laying the foundation for future advancements.