FINEREASON: Bewertung und Verbesserung des gezielten Denkens von LLMs durch reflektives Rätsellösen

FINEREASON: Evaluating and Improving LLMs' Deliberate Reasoning through Reflective Puzzle Solving

February 27, 2025

Autoren: Guizhen Chen, Weiwen Xu, Hao Zhang, Hou Pong Chan, Chaoqun Liu, Lidong Bing, Deli Zhao, Anh Tuan Luu, Yu Rong

cs.AI

Zusammenfassung

Viele anspruchsvolle Denkaufgaben erfordern nicht nur schnelle, intuitive Reaktionen, sondern einen durchdachteren, mehrstufigen Ansatz. Die jüngsten Fortschritte bei großen Sprachmodellen (LLMs) verdeutlichen einen wichtigen Wandel von der „System 1“-Methode der schnellen Reaktionen hin zum „System 2“-Stil des reflektierenden und korrigierenden Problemlösens. Allerdings stützen sich aktuelle Benchmarks stark auf die Genauigkeit der Endantworten, wodurch viele der Zwischenschritte der Modelllogik ungeprüft bleiben. Dies versäumt es, die Fähigkeit des Modells zur Reflexion und Korrektur von Fehlern im Denkprozess zu bewerten. Um diese Lücke zu schließen, stellen wir FINEREASON vor, einen Logikrätsel-Benchmark zur feingranularen Bewertung der Denkfähigkeiten von LLMs. Jedes Rätsel lässt sich in atomare Schritte zerlegen, was es ideal für eine strenge Überprüfung der Zwischenergebnisse macht. Darauf aufbauend führen wir zwei Aufgaben ein: Zustandsprüfung und Zustandsübergang, um umfassend zu bewerten, wie Modelle die aktuelle Situation einschätzen und den nächsten Schritt planen. Um die Forschung weiter zu unterstützen, stellen wir außerdem einen Rätsel-Trainingsdatensatz bereit, der darauf abzielt, die Leistung bei allgemeinen mathematischen Aufgaben zu verbessern. Wir zeigen, dass Modelle, die mit unseren Daten zur Zustandsprüfung und -übergang trainiert wurden, eine Steigerung der mathematischen Denkfähigkeit von bis zu 5,1 % auf GSM8K erreichen.

English

Many challenging reasoning tasks require not just rapid, intuitive responses, but a more deliberate, multi-step approach. Recent progress in large language models (LLMs) highlights an important shift from the "System 1" way of quick reactions to the "System 2" style of reflection-and-correction problem solving. However, current benchmarks heavily rely on the final-answer accuracy, leaving much of a model's intermediate reasoning steps unexamined. This fails to assess the model's ability to reflect and rectify mistakes within the reasoning process. To bridge this gap, we introduce FINEREASON, a logic-puzzle benchmark for fine-grained evaluation of LLMs' reasoning capabilities. Each puzzle can be decomposed into atomic steps, making it ideal for rigorous validation of intermediate correctness. Building on this, we introduce two tasks: state checking, and state transition, for a comprehensive evaluation of how models assess the current situation and plan the next move. To support broader research, we also provide a puzzle training set aimed at enhancing performance on general mathematical tasks. We show that models trained on our state checking and transition data demonstrate gains in math reasoning by up to 5.1% on GSM8K.