Generative Bewertung komplexer Schlussfolgerungen in großen Sprachmodellen

Generative Evaluation of Complex Reasoning in Large Language Models

April 3, 2025

Autoren: Haowei Lin, Xiangyu Wang, Ruilin Yan, Baizhou Huang, Haotian Ye, Jianhua Zhu, Zihao Wang, James Zou, Jianzhu Ma, Yitao Liang

cs.AI

Zusammenfassung

Da leistungsstarke große Sprachmodelle (LLMs) übermenschliche Fähigkeiten im Bereich des logischen Denkens demonstrieren, stellt sich eine entscheidende Frage: Denken LLMs tatsächlich, oder rufen sie lediglich Antworten aus ihren umfangreichen, aus dem Web extrahierten Trainingsdatensätzen ab? Öffentlich verfügbare Benchmarks werden unweigerlich kontaminiert, sobald sie in nachfolgende LLM-Trainingsdatensätze integriert werden, was ihre Zuverlässigkeit als treue Bewertungsinstrumente untergräbt. Um dies zu adressieren, stellen wir KUMO vor, ein generatives Evaluationsframework, das speziell zur Bewertung des logischen Denkens in LLMs entwickelt wurde. KUMO kombiniert synergetisch LLMs mit symbolischen Engines, um dynamisch vielfältige, mehrstufige Denkaufgaben zu erzeugen, die teilweise beobachtbar und in ihrer Schwierigkeit anpassbar sind. Durch einen automatisierten Prozess generiert KUMO kontinuierlich neue Aufgaben in offenen Domänen, wodurch Modelle gezwungen werden, echte Generalisierung statt bloßer Memorierung zu demonstrieren. Wir haben 23 state-of-the-art LLMs an 5.000 Aufgaben in 100 Domänen, die von KUMO erstellt wurden, evaluiert und ihre Denkfähigkeiten mit denen von Universitätsstudenten verglichen. Unsere Ergebnisse zeigen, dass viele LLMs bei einfachen Denkaufgaben die Leistung von Universitätsstudenten übertroffen haben und dass LLMs, die auf logisches Denken skaliert sind, bei komplexen Denkherausforderungen auf Universitätsniveau abschneiden. Darüber hinaus korreliert die Leistung von LLMs bei KUMO-Aufgaben stark mit den Ergebnissen auf neu veröffentlichten realen Denkbenchmarks, was den Wert von KUMO als robustes, langfristiges Bewertungsinstrument für echte Denkfähigkeiten von LLMs unterstreicht.

English

With powerful large language models (LLMs) demonstrating superhuman reasoning capabilities, a critical question arises: Do LLMs genuinely reason, or do they merely recall answers from their extensive, web-scraped training datasets? Publicly released benchmarks inevitably become contaminated once incorporated into subsequent LLM training sets, undermining their reliability as faithful assessments. To address this, we introduce KUMO, a generative evaluation framework designed specifically for assessing reasoning in LLMs. KUMO synergistically combines LLMs with symbolic engines to dynamically produce diverse, multi-turn reasoning tasks that are partially observable and adjustable in difficulty. Through an automated pipeline, KUMO continuously generates novel tasks across open-ended domains, compelling models to demonstrate genuine generalization rather than memorization. We evaluated 23 state-of-the-art LLMs on 5,000 tasks across 100 domains created by KUMO, benchmarking their reasoning abilities against university students. Our findings reveal that many LLMs have outperformed university-level performance on easy reasoning tasks, and reasoning-scaled LLMs reach university-level performance on complex reasoning challenges. Moreover, LLM performance on KUMO tasks correlates strongly with results on newly released real-world reasoning benchmarks, underscoring KUMO's value as a robust, enduring assessment tool for genuine LLM reasoning capabilities.