Evaluación Generativa del Razonamiento Complejo en Modelos de Lenguaje a Gran Escala

Generative Evaluation of Complex Reasoning in Large Language Models

April 3, 2025

Autores: Haowei Lin, Xiangyu Wang, Ruilin Yan, Baizhou Huang, Haotian Ye, Jianhua Zhu, Zihao Wang, James Zou, Jianzhu Ma, Yitao Liang

cs.AI

Resumen

Con los potentes modelos de lenguaje de gran escala (LLMs) demostrando capacidades de razonamiento sobrehumanas, surge una pregunta crítica: ¿Los LLMs razonan genuinamente o simplemente recuerdan respuestas de sus extensos conjuntos de datos de entrenamiento extraídos de la web? Los benchmarks publicados inevitablemente se contaminan una vez que se incorporan en los conjuntos de entrenamiento posteriores de los LLMs, lo que socava su fiabilidad como evaluaciones fieles. Para abordar esto, presentamos KUMO, un marco de evaluación generativo diseñado específicamente para evaluar el razonamiento en los LLMs. KUMO combina de manera sinérgica los LLMs con motores simbólicos para producir dinámicamente tareas de razonamiento diversas y de múltiples pasos que son parcialmente observables y ajustables en dificultad. A través de una canalización automatizada, KUMO genera continuamente tareas novedosas en dominios abiertos, obligando a los modelos a demostrar una generalización genuina en lugar de memorización. Evaluamos 23 LLMs de última generación en 5,000 tareas a través de 100 dominios creados por KUMO, comparando sus habilidades de razonamiento con las de estudiantes universitarios. Nuestros hallazgos revelan que muchos LLMs han superado el rendimiento a nivel universitario en tareas de razonamiento sencillas, y los LLMs escalados en razonamiento alcanzan un rendimiento universitario en desafíos de razonamiento complejos. Además, el rendimiento de los LLMs en las tareas de KUMO se correlaciona fuertemente con los resultados en benchmarks de razonamiento del mundo real recientemente publicados, destacando el valor de KUMO como una herramienta de evaluación robusta y duradera para las capacidades genuinas de razonamiento de los LLMs.

English

With powerful large language models (LLMs) demonstrating superhuman reasoning capabilities, a critical question arises: Do LLMs genuinely reason, or do they merely recall answers from their extensive, web-scraped training datasets? Publicly released benchmarks inevitably become contaminated once incorporated into subsequent LLM training sets, undermining their reliability as faithful assessments. To address this, we introduce KUMO, a generative evaluation framework designed specifically for assessing reasoning in LLMs. KUMO synergistically combines LLMs with symbolic engines to dynamically produce diverse, multi-turn reasoning tasks that are partially observable and adjustable in difficulty. Through an automated pipeline, KUMO continuously generates novel tasks across open-ended domains, compelling models to demonstrate genuine generalization rather than memorization. We evaluated 23 state-of-the-art LLMs on 5,000 tasks across 100 domains created by KUMO, benchmarking their reasoning abilities against university students. Our findings reveal that many LLMs have outperformed university-level performance on easy reasoning tasks, and reasoning-scaled LLMs reach university-level performance on complex reasoning challenges. Moreover, LLM performance on KUMO tasks correlates strongly with results on newly released real-world reasoning benchmarks, underscoring KUMO's value as a robust, enduring assessment tool for genuine LLM reasoning capabilities.