BoostStep: Mejorando la capacidad matemática de los Modelos de Lenguaje Grandes mediante un razonamiento de un solo paso mejorado

BoostStep: Boosting mathematical capability of Large Language Models via improved single-step reasoning

January 6, 2025

Autores: Beichen Zhang, Yuhong Liu, Xiaoyi Dong, Yuhang Zang, Pan Zhang, Haodong Duan, Yuhang Cao, Dahua Lin, Jiaqi Wang

cs.AI

Resumen

Los modelos de lenguaje grandes (LLMs) de vanguardia demuestran un rendimiento prometedor en la resolución de problemas matemáticos complejos con un proceso de dividir y conquistar y la asistencia de ejemplos de aprendizaje en contexto (ICL). Sin embargo, su potencial de mejora se ve limitado por dos problemas críticos dentro de sus ejemplos de ICL: la falta de coincidencia de granularidad y el consiguiente problema de ruido de efecto negativo. Específicamente, los LLMs son capaces de llevar a cabo el proceso de división pero fallan principalmente en el razonamiento inexacto dentro de unos pocos pasos de conquista, mientras que los ejemplos de ICL recuperados a veces carecen de pasos relevantes para un paso de razonamiento desafiante específico. Además, esta desconexión puede obstaculizar el razonamiento correcto debido a su falta de relevancia. Con este fin, nos enfocamos en mejorar la calidad del razonamiento en cada paso y presentamos BoostStep. BoostStep alinea la granularidad entre la recuperación y el razonamiento en pasos, y proporciona ejemplos de ICL altamente relacionados para cada paso de razonamiento con una estrategia novedosa de 'primer intento'. BoostStep proporciona ejemplos más relevantes que la estrategia de granularidad de pregunta gruesa, mejorando la calidad del razonamiento del modelo en cada paso de manera constante. BoostStep es un método general y robusto para mejorar el razonamiento que no solo mejora el rendimiento de razonamiento independiente, sino que también se integra perfectamente con los métodos de Búsqueda de Árbol de Monte Carlo (MCTS) para refinar tanto la generación de candidatos como la toma de decisiones. Cuantitativamente, mejora GPT-4o y Qwen2.5-Math-72B en un 3.6\% y 2.0\% respectivamente en varios puntos de referencia matemáticos, y un aumento del 7.5\% combinado con MCTS.

English

Cutting-edge large language models (LLMs) demonstrate promising performance in solving complex math problems with a divide-and-conquer pipeline and the assistance of in-context learning (ICL) examples. However, their potential for improvement is limited by two critical problems within their ICL examples: granularity-mismatch and the ensuing negative-effect noise problem. Specifically, the LLMs are capable of the dividing process yet mostly failed by inaccurate reasoning within a few conquer steps, while the ICL examples retrieved in question-grained sometimes lack relevant steps for a specific challenging reasoning step. Further, this disconnect may hinder the correct reasoning due to its irrelevance. To this end, we focus on improving the reasoning quality within each step and present BoostStep. BoostStep aligns the granularity between the retrieving and reasoning on step grained, and provides highly related ICL examples for each reasoning step with a novel `first-try' strategy. BoostStep provides more relevant examples than the coarse question-grained strategy, enhancing the model reasoning quality within each step steadily. BoostStep is a general and robust reasoning-enhancing method that not only improves standalone reasoning performance but also integrates seamlessly with Monte Carlo Tree Search methods (MCTS) to refine both candidate generation and decision-making. Quantitatively, it improves GPT-4o and Qwen2.5-Math-72B by 3.6\% and 2.0\% respectively on various mathematical benchmarks, and 7.5\% gain combined with MCTS.