PHYBench : Évaluation holistique de la perception physique et du raisonnement dans les grands modèles de langage

PHYBench: Holistic Evaluation of Physical Perception and Reasoning in Large Language Models

April 22, 2025

Auteurs: Shi Qiu, Shaoyang Guo, Zhuo-Yang Song, Yunbo Sun, Zeyu Cai, Jiashen Wei, Tianyu Luo, Yixuan Yin, Haoxu Zhang, Yi Hu, Chenyang Wang, Chencheng Tang, Haoling Chang, Qi Liu, Ziheng Zhou, Tianyu Zhang, Jingtian Zhang, Zhangyi Liu, Minghao Li, Yuku Zhang, Boxuan Jing, Xianqi Yin, Yutong Ren, Zizhuo Fu, Weike Wang, Xudong Tian, Anqi Lv, Laifu Man, Jianxiang Li, Feiyu Tao, Qihua Sun, Zhou Liang, Yushu Mu, Zhongxuan Li, Jing-Jun Zhang, Shutao Zhang, Xiaotian Li, Xingqi Xia, Jiawei Lin, Zheyu Shen, Jiahang Chen, Qiuhao Xiong, Binran Wang, Fengyuan Wang, Ziyang Ni, Bohan Zhang, Fan Cui, Changkun Shao, Qing-Hong Cao, Ming-xing Luo, Muhan Zhang, Hua Xing Zhu

cs.AI

Résumé

Nous présentons PHYBench, un nouveau benchmark de haute qualité conçu pour évaluer les capacités de raisonnement des grands modèles de langage (LLM) dans des contextes physiques. PHYBench se compose de 500 problèmes de physique soigneusement sélectionnés, basés sur des scénarios physiques réalistes, et conçus pour évaluer la capacité des modèles à comprendre et à raisonner sur des processus physiques réalistes. Couvrant la mécanique, l'électromagnétisme, la thermodynamique, l'optique, la physique moderne et la physique avancée, le benchmark englobe des niveaux de difficulté allant des exercices de lycée aux problèmes de premier cycle universitaire et aux défis des Olympiades de Physique. De plus, nous proposons le score Expression Edit Distance (EED), une nouvelle métrique d'évaluation basée sur la distance d'édition entre expressions mathématiques, qui capture efficacement les différences dans les processus de raisonnement et les résultats des modèles, au-delà des méthodes traditionnelles de notation binaire. Nous évaluons divers LLM sur PHYBench et comparons leurs performances à celles d'experts humains. Nos résultats révèlent que même les modèles de raisonnement les plus avancés sont significativement en retard par rapport aux experts humains, mettant en lumière leurs limites et la nécessité d'améliorations dans les scénarios de raisonnement physique complexes. Nos résultats de benchmark et notre ensemble de données sont disponibles publiquement à l'adresse https://phybench-official.github.io/phybench-demo/.

English

We introduce PHYBench, a novel, high-quality benchmark designed for evaluating reasoning capabilities of large language models (LLMs) in physical contexts. PHYBench consists of 500 meticulously curated physics problems based on real-world physical scenarios, designed to assess the ability of models to understand and reason about realistic physical processes. Covering mechanics, electromagnetism, thermodynamics, optics, modern physics, and advanced physics, the benchmark spans difficulty levels from high school exercises to undergraduate problems and Physics Olympiad challenges. Additionally, we propose the Expression Edit Distance (EED) Score, a novel evaluation metric based on the edit distance between mathematical expressions, which effectively captures differences in model reasoning processes and results beyond traditional binary scoring methods. We evaluate various LLMs on PHYBench and compare their performance with human experts. Our results reveal that even state-of-the-art reasoning models significantly lag behind human experts, highlighting their limitations and the need for improvement in complex physical reasoning scenarios. Our benchmark results and dataset are publicly available at https://phybench-official.github.io/phybench-demo/.