Informe de Hallazgos de FlagEval: Una Evaluación Preliminar de Modelos de Razonamiento a Gran Escala en Preguntas Textuales y Visuales Automáticamente Verificables
FlagEval Findings Report: A Preliminary Evaluation of Large Reasoning Models on Automatically Verifiable Textual and Visual Questions
September 21, 2025
Autores: Bowen Qin, Chen Yue, Fang Yin, Hui Wang, JG Yao, Jiakang Liu, Jing-Shu Zheng, Miguel Hu Chen, Richeng Xuan, Shibei Meng, Shiqi Zhou, Teng Dai, Tong-Shuai Ren, Wei Cui, Xi Yang, Xialin Du, Xiaojing Xu, Xue Sun, Xuejing Li, Yaming Liu, Yesheng Liu, Ying Liu, Yonghua Lin, Yu Zhao, Yunduo Zhang, Yuwen Luo, Zheqi He, Zhiyuan He, Zhongyuan Wang
cs.AI
Resumen
Realizamos una evaluación a escala moderada y, en cierta medida, libre de contaminación de los modelos actuales de razonamiento a gran escala (LRMs, por sus siglas en inglés), con algunos hallazgos preliminares. También presentamos ROME, nuestro punto de referencia de evaluación para modelos de lenguaje visual diseñado para probar el razonamiento a partir de pistas visuales. Adjuntamos enlaces al punto de referencia, los datos de evaluación y otras actualizaciones en este sitio web: https://flageval-baai.github.io/LRM-Eval/.
English
We conduct a moderate-scale contamination-free (to some extent) evaluation of
current large reasoning models (LRMs) with some preliminary findings. We also
release ROME, our evaluation benchmark for vision language models intended to
test reasoning from visual clues. We attach links to the benchmark, evaluation
data, and other updates on this website:
https://flageval-baai.github.io/LRM-Eval/