MorphoBench: Um Benchmark com Dificuldade Adaptativa ao Raciocínio do Modelo

MorphoBench: A Benchmark with Difficulty Adaptive to Model Reasoning

October 16, 2025

Autores: Xukai Wang, Xuanbo Liu, Mingrui Chen, Haitian Zhong, Xuanlin Yang, Bohan Zeng, Jinbo Hu, Hao Liang, Junbo Niu, Xuchen Li, Ruitao Wu, Ruichuan An, Yang Shi, Liu Liu, Xu-Yao Zhang, Qiang Liu, Zhouchen Lin, Wentao Zhang, Bin Dong

cs.AI

Resumo

Com o avanço de modelos de raciocínio em grande escala e poderosos, a avaliação eficaz das capacidades de raciocínio desses modelos tornou-se cada vez mais importante. No entanto, os benchmarks existentes projetados para avaliar as habilidades de raciocínio de modelos grandes tendem a ser limitados em escopo e carecem da flexibilidade para adaptar sua dificuldade de acordo com as capacidades de raciocínio em evolução dos modelos. Para resolver isso, propomos o MorphoBench, um benchmark que incorpora questões multidisciplinares para avaliar as capacidades de raciocínio de modelos grandes e pode ajustar e atualizar a dificuldade das questões com base nas habilidades de raciocínio de modelos avançados. Especificamente, elaboramos o benchmark selecionando e coletando questões complexas de raciocínio de benchmarks existentes e fontes como competições de nível olímpico. Além disso, o MorphoBench modifica adaptativamente o desafio analítico das questões aproveitando declarações-chave geradas durante o processo de raciocínio do modelo. Adicionalmente, ele inclui questões geradas usando software de simulação, permitindo o ajuste dinâmico da dificuldade do benchmark com consumo mínimo de recursos. Coletamos mais de 1.300 questões de teste e ajustamos iterativamente a dificuldade do MorphoBench com base nas capacidades de raciocínio de modelos como o3 e GPT-5. O MorphoBench aprimora a abrangência e a validade da avaliação do raciocínio dos modelos, fornecendo orientação confiável para melhorar tanto as habilidades de raciocínio quanto a robustez científica de modelos grandes. O código foi disponibilizado em https://github.com/OpenDCAI/MorphoBench.

English

With the advancement of powerful large-scale reasoning models, effectively evaluating the reasoning capabilities of these models has become increasingly important. However, existing benchmarks designed to assess the reasoning abilities of large models tend to be limited in scope and lack the flexibility to adapt their difficulty according to the evolving reasoning capacities of the models. To address this, we propose MorphoBench, a benchmark that incorporates multidisciplinary questions to evaluate the reasoning capabilities of large models and can adjust and update question difficulty based on the reasoning abilities of advanced models. Specifically, we curate the benchmark by selecting and collecting complex reasoning questions from existing benchmarks and sources such as Olympiad-level competitions. Additionally, MorphoBench adaptively modifies the analytical challenge of questions by leveraging key statements generated during the model's reasoning process. Furthermore, it includes questions generated using simulation software, enabling dynamic adjustment of benchmark difficulty with minimal resource consumption. We have gathered over 1,300 test questions and iteratively adjusted the difficulty of MorphoBench based on the reasoning capabilities of models such as o3 and GPT-5. MorphoBench enhances the comprehensiveness and validity of model reasoning evaluation, providing reliable guidance for improving both the reasoning abilities and scientific robustness of large models. The code has been released in https://github.com/OpenDCAI/MorphoBench.