FINEREASON: Het evalueren en verbeteren van LLM's doelbewuste redenering door middel van reflectief puzzeloplossen

FINEREASON: Evaluating and Improving LLMs' Deliberate Reasoning through Reflective Puzzle Solving

February 27, 2025

Auteurs: Guizhen Chen, Weiwen Xu, Hao Zhang, Hou Pong Chan, Chaoqun Liu, Lidong Bing, Deli Zhao, Anh Tuan Luu, Yu Rong

cs.AI

Samenvatting

Veel uitdagende redeneertaken vereisen niet alleen snelle, intuïtieve reacties, maar ook een meer doordachte, meerstappenbenadering. Recente vooruitgang in grote taalmodellen (TTM's) benadrukt een belangrijke verschuiving van de "Systeem 1" manier van snelle reacties naar de "Systeem 2" stijl van reflectie-en-correctie probleemoplossing. Huidige benchmarks vertrouwen echter zwaar op de nauwkeurigheid van het eindantwoord, waardoor veel van de tussenliggende redeneerstappen van een model ongeëxamineerd blijven. Dit faalt om de mogelijkheid van het model om fouten te overdenken en te corrigeren binnen het redeneerproces te beoordelen. Om deze kloof te overbruggen, introduceren we FINEREASON, een logische puzzelbenchmark voor een gedetailleerde evaluatie van de redeneermogelijkheden van TTM's. Elke puzzel kan worden opgesplitst in atomaire stappen, waardoor het ideaal is voor een grondige validatie van tussenliggende correctheid. Voortbouwend hierop introduceren we twee taken: statuscontrole en statusovergang, voor een uitgebreide evaluatie van hoe modellen de huidige situatie beoordelen en de volgende zet plannen. Om breder onderzoek te ondersteunen, bieden we ook een puzzeltrainingsset aan die gericht is op het verbeteren van de prestaties op algemene wiskundige taken. We tonen aan dat modellen die zijn getraind op onze statuscontrole- en overgangsgegevens verbeteringen in wiskundig redeneren laten zien tot wel 5,1% op GSM8K.

English

Many challenging reasoning tasks require not just rapid, intuitive responses, but a more deliberate, multi-step approach. Recent progress in large language models (LLMs) highlights an important shift from the "System 1" way of quick reactions to the "System 2" style of reflection-and-correction problem solving. However, current benchmarks heavily rely on the final-answer accuracy, leaving much of a model's intermediate reasoning steps unexamined. This fails to assess the model's ability to reflect and rectify mistakes within the reasoning process. To bridge this gap, we introduce FINEREASON, a logic-puzzle benchmark for fine-grained evaluation of LLMs' reasoning capabilities. Each puzzle can be decomposed into atomic steps, making it ideal for rigorous validation of intermediate correctness. Building on this, we introduce two tasks: state checking, and state transition, for a comprehensive evaluation of how models assess the current situation and plan the next move. To support broader research, we also provide a puzzle training set aimed at enhancing performance on general mathematical tasks. We show that models trained on our state checking and transition data demonstrate gains in math reasoning by up to 5.1% on GSM8K.