대규모 언어 모델의 복잡한 추론 능력에 대한 생성적 평가

Generative Evaluation of Complex Reasoning in Large Language Models

April 3, 2025

저자: Haowei Lin, Xiangyu Wang, Ruilin Yan, Baizhou Huang, Haotian Ye, Jianhua Zhu, Zihao Wang, James Zou, Jianzhu Ma, Yitao Liang

cs.AI

초록

강력한 대규모 언어 모델(LLM)이 초인간적인 추론 능력을 보여주면서, 중요한 질문이 제기됩니다: LLM이 진정으로 추론을 하는 것인가, 아니면 단순히 웹에서 수집한 방대한 학습 데이터셋에서 답변을 회상하는 것인가? 공개된 벤치마크는 이후 LLM 학습 데이터셋에 통합되면 필연적으로 오염되어, 신뢰할 수 있는 평가 도구로서의 신뢰성을 훼손합니다. 이를 해결하기 위해, 우리는 LLM의 추론 능력을 평가하기 위해 특별히 설계된 생성적 평가 프레임워크인 KUMO를 소개합니다. KUMO는 LLM과 기호 엔진을 시너지적으로 결합하여 부분적으로 관찰 가능하고 난이도를 조절할 수 있는 다양한 다중 턴 추론 과제를 동적으로 생성합니다. 자동화된 파이프라인을 통해, KUMO는 개방형 도메인에서 지속적으로 새로운 과제를 생성하여 모델이 단순한 암기가 아닌 진정한 일반화 능력을 보여주도록 합니다. 우리는 KUMO가 생성한 100개 도메인에 걸친 5,000개 과제에서 23개의 최신 LLM을 평가하고, 그들의 추론 능력을 대학생들과 비교했습니다. 연구 결과, 많은 LLM이 쉬운 추론 과제에서 대학생 수준을 능가했으며, 추론 능력이 강화된 LLM은 복잡한 추론 과제에서도 대학생 수준의 성능에 도달했습니다. 또한, KUMO 과제에서의 LLM 성능은 새로 출시된 실세계 추론 벤치마크 결과와 강한 상관관계를 보여, KUMO가 진정한 LLM 추론 능력을 평가하는 견고하고 지속 가능한 도구로서의 가치를 입증했습니다.

English

With powerful large language models (LLMs) demonstrating superhuman reasoning capabilities, a critical question arises: Do LLMs genuinely reason, or do they merely recall answers from their extensive, web-scraped training datasets? Publicly released benchmarks inevitably become contaminated once incorporated into subsequent LLM training sets, undermining their reliability as faithful assessments. To address this, we introduce KUMO, a generative evaluation framework designed specifically for assessing reasoning in LLMs. KUMO synergistically combines LLMs with symbolic engines to dynamically produce diverse, multi-turn reasoning tasks that are partially observable and adjustable in difficulty. Through an automated pipeline, KUMO continuously generates novel tasks across open-ended domains, compelling models to demonstrate genuine generalization rather than memorization. We evaluated 23 state-of-the-art LLMs on 5,000 tasks across 100 domains created by KUMO, benchmarking their reasoning abilities against university students. Our findings reveal that many LLMs have outperformed university-level performance on easy reasoning tasks, and reasoning-scaled LLMs reach university-level performance on complex reasoning challenges. Moreover, LLM performance on KUMO tasks correlates strongly with results on newly released real-world reasoning benchmarks, underscoring KUMO's value as a robust, enduring assessment tool for genuine LLM reasoning capabilities.