FINEREASON: Evaluación y mejora del razonamiento deliberado en modelos de lenguaje grandes mediante la resolución reflexiva de acertijos

FINEREASON: Evaluating and Improving LLMs' Deliberate Reasoning through Reflective Puzzle Solving

February 27, 2025

Autores: Guizhen Chen, Weiwen Xu, Hao Zhang, Hou Pong Chan, Chaoqun Liu, Lidong Bing, Deli Zhao, Anh Tuan Luu, Yu Rong

cs.AI

Resumen

Muchas tareas de razonamiento desafiantes requieren no solo respuestas rápidas e intuitivas, sino un enfoque más deliberado y de múltiples pasos. Los avances recientes en los modelos de lenguaje grandes (LLMs) destacan un cambio importante desde el enfoque de "Sistema 1" de reacciones rápidas hacia el estilo de "Sistema 2" de resolución de problemas mediante reflexión y corrección. Sin embargo, los puntos de referencia actuales dependen en gran medida de la precisión de la respuesta final, dejando sin examinar gran parte de los pasos intermedios del razonamiento del modelo. Esto no permite evaluar la capacidad del modelo para reflexionar y corregir errores dentro del proceso de razonamiento. Para cerrar esta brecha, presentamos FINEREASON, un punto de referencia de rompecabezas lógicos para la evaluación detallada de las capacidades de razonamiento de los LLMs. Cada rompecabezas puede descomponerse en pasos atómicos, lo que lo hace ideal para una validación rigurosa de la corrección intermedia. Basándonos en esto, introducimos dos tareas: verificación de estado y transición de estado, para una evaluación integral de cómo los modelos evalúan la situación actual y planifican el siguiente paso. Para apoyar una investigación más amplia, también proporcionamos un conjunto de entrenamiento de rompecabezas destinado a mejorar el rendimiento en tareas matemáticas generales. Demostramos que los modelos entrenados con nuestros datos de verificación y transición de estado muestran mejoras en el razonamiento matemático de hasta un 5.1% en GSM8K.

English

Many challenging reasoning tasks require not just rapid, intuitive responses, but a more deliberate, multi-step approach. Recent progress in large language models (LLMs) highlights an important shift from the "System 1" way of quick reactions to the "System 2" style of reflection-and-correction problem solving. However, current benchmarks heavily rely on the final-answer accuracy, leaving much of a model's intermediate reasoning steps unexamined. This fails to assess the model's ability to reflect and rectify mistakes within the reasoning process. To bridge this gap, we introduce FINEREASON, a logic-puzzle benchmark for fine-grained evaluation of LLMs' reasoning capabilities. Each puzzle can be decomposed into atomic steps, making it ideal for rigorous validation of intermediate correctness. Building on this, we introduce two tasks: state checking, and state transition, for a comprehensive evaluation of how models assess the current situation and plan the next move. To support broader research, we also provide a puzzle training set aimed at enhancing performance on general mathematical tasks. We show that models trained on our state checking and transition data demonstrate gains in math reasoning by up to 5.1% on GSM8K.