FINEREASON : Évaluation et amélioration du raisonnement délibéré des LLM à travers la résolution de puzzles réflexifs

FINEREASON: Evaluating and Improving LLMs' Deliberate Reasoning through Reflective Puzzle Solving

February 27, 2025

Auteurs: Guizhen Chen, Weiwen Xu, Hao Zhang, Hou Pong Chan, Chaoqun Liu, Lidong Bing, Deli Zhao, Anh Tuan Luu, Yu Rong

cs.AI

Résumé

De nombreuses tâches de raisonnement complexes nécessitent non seulement des réponses rapides et intuitives, mais également une approche plus réfléchie et multi-étapes. Les progrès récents des grands modèles de langage (LLMs) mettent en lumière un changement important, passant du mode "Système 1" de réactions rapides au style "Système 2" de résolution de problèmes par réflexion et correction. Cependant, les benchmarks actuels se concentrent principalement sur la précision des réponses finales, laissant souvent les étapes intermédiaires du raisonnement du modèle inexplorées. Cela ne permet pas d'évaluer la capacité du modèle à réfléchir et à rectifier ses erreurs au cours du processus de raisonnement. Pour combler cette lacune, nous introduisons FINEREASON, un benchmark de casse-têtes logiques pour une évaluation fine des capacités de raisonnement des LLMs. Chaque casse-tête peut être décomposé en étapes atomiques, ce qui le rend idéal pour une validation rigoureuse de la justesse intermédiaire. Sur cette base, nous proposons deux tâches : la vérification d'état et la transition d'état, afin d'évaluer de manière exhaustive comment les modèles évaluent la situation actuelle et planifient la prochaine étape. Pour soutenir des recherches plus larges, nous fournissons également un ensemble d'entraînement de casse-têtes visant à améliorer les performances sur des tâches mathématiques générales. Nous montrons que les modèles entraînés sur nos données de vérification et de transition d'état obtiennent des gains allant jusqu'à 5,1 % en raisonnement mathématique sur GSM8K.

English

Many challenging reasoning tasks require not just rapid, intuitive responses, but a more deliberate, multi-step approach. Recent progress in large language models (LLMs) highlights an important shift from the "System 1" way of quick reactions to the "System 2" style of reflection-and-correction problem solving. However, current benchmarks heavily rely on the final-answer accuracy, leaving much of a model's intermediate reasoning steps unexamined. This fails to assess the model's ability to reflect and rectify mistakes within the reasoning process. To bridge this gap, we introduce FINEREASON, a logic-puzzle benchmark for fine-grained evaluation of LLMs' reasoning capabilities. Each puzzle can be decomposed into atomic steps, making it ideal for rigorous validation of intermediate correctness. Building on this, we introduce two tasks: state checking, and state transition, for a comprehensive evaluation of how models assess the current situation and plan the next move. To support broader research, we also provide a puzzle training set aimed at enhancing performance on general mathematical tasks. We show that models trained on our state checking and transition data demonstrate gains in math reasoning by up to 5.1% on GSM8K.