Aprender Más Allá de la Respuesta: Entrenamiento de Modelos de Lenguaje con Reflexión para el Razonamiento Matemático

Learn Beyond The Answer: Training Language Models with Reflection for Mathematical Reasoning

June 17, 2024

Autores: Zhihan Zhang, Zhenwen Liang, Wenhao Yu, Dian Yu, Mengzhao Jia, Dong Yu, Meng Jiang

cs.AI

Resumen

El ajuste fino supervisado mejora las capacidades de resolución de problemas de los modelos de lenguaje en diversas tareas de razonamiento matemático. Para maximizar estos beneficios, la investigación existente se centra en ampliar el conjunto de entrenamiento mediante diversas técnicas de aumento de datos, lo cual es efectivo en escenarios estándar de preguntas y respuestas de una sola ronda. Nuestro trabajo introduce una técnica novedosa dirigida a cultivar una comprensión más profunda de los problemas de entrenamiento, mejorando el rendimiento no solo en entornos estándar, sino también en escenarios más complejos que requieren pensamiento reflexivo. Específicamente, proponemos el aumento reflexivo, un método que incorpora la reflexión sobre el problema en cada instancia de entrenamiento. Este método entrena al modelo para considerar perspectivas alternativas y trabajar con abstracciones y analogías, fomentando así una comprensión exhaustiva a través del razonamiento reflexivo. Experimentos extensos validan el logro de nuestro objetivo, destacando las ventajas únicas de nuestro método y su naturaleza complementaria en relación con las técnicas de aumento existentes.

English

Supervised fine-tuning enhances the problem-solving abilities of language models across various mathematical reasoning tasks. To maximize such benefits, existing research focuses on broadening the training set with various data augmentation techniques, which is effective for standard single-round question-answering settings. Our work introduces a novel technique aimed at cultivating a deeper understanding of the training problems at hand, enhancing performance not only in standard settings but also in more complex scenarios that require reflective thinking. Specifically, we propose reflective augmentation, a method that embeds problem reflection into each training instance. It trains the model to consider alternative perspectives and engage with abstractions and analogies, thereby fostering a thorough comprehension through reflective reasoning. Extensive experiments validate the achievement of our aim, underscoring the unique advantages of our method and its complementary nature relative to existing augmentation techniques.