SuperCorrect: Supervisión y Corrección de Modelos de Lenguaje con Perspectivas Impulsadas por Errores

SuperCorrect: Supervising and Correcting Language Models with Error-Driven Insights

October 11, 2024

Autores: Ling Yang, Zhaochen Yu, Tianjun Zhang, Minkai Xu, Joseph E. Gonzalez, Bin Cui, Shuicheng Yan

cs.AI

Resumen

Los modelos de lenguaje grandes (LLMs) como GPT-4, PaLM y LLaMA han demostrado mejoras significativas en diversas tareas de razonamiento. Sin embargo, modelos más pequeños como Llama-3-8B y DeepSeekMath-Base aún tienen dificultades con el razonamiento matemático complejo debido a que no logran identificar y corregir de manera efectiva los errores de razonamiento. Métodos recientes basados en la reflexión buscan abordar estos problemas al permitir la autorreflexión y autocorrección, pero aún enfrentan desafíos al detectar de forma independiente errores en sus pasos de razonamiento. Para superar estas limitaciones, proponemos SuperCorrect, un nuevo marco de trabajo de dos etapas que utiliza un gran modelo maestro para supervisar y corregir tanto los procesos de razonamiento como de reflexión de un modelo estudiante más pequeño. En la primera etapa, extraemos plantillas de pensamiento jerárquicas de alto nivel y detalladas del modelo maestro para guiar al modelo estudiante en la obtención de pensamientos de razonamiento más detallados. En la segunda etapa, introducimos la optimización de preferencia directa colaborativa entre modelos (DPO) para mejorar las habilidades de autocorrección del modelo estudiante siguiendo las trazas de corrección del maestro durante el entrenamiento. Este enfoque de DPO entre modelos enseña al modelo estudiante a localizar y resolver de manera efectiva pensamientos erróneos con ideas impulsadas por errores del modelo maestro, rompiendo el cuello de botella de sus pensamientos y adquiriendo nuevas habilidades y conocimientos para abordar problemas desafiantes. Experimentos extensos demuestran consistentemente nuestra superioridad sobre métodos anteriores. Notablemente, nuestro modelo SuperCorrect-7B supera significativamente a DeepSeekMath-7B en un 7.8%/5.3% y a Qwen2.5-Math-7B en un 15.1%/6.3% en los benchmarks MATH/GSM8K, logrando un nuevo rendimiento SOTA entre todos los modelos 7B. Código: https://github.com/YangLing0818/SuperCorrect-llm

English

Large language models (LLMs) like GPT-4, PaLM, and LLaMA have shown significant improvements in various reasoning tasks. However, smaller models such as Llama-3-8B and DeepSeekMath-Base still struggle with complex mathematical reasoning because they fail to effectively identify and correct reasoning errors. Recent reflection-based methods aim to address these issues by enabling self-reflection and self-correction, but they still face challenges in independently detecting errors in their reasoning steps. To overcome these limitations, we propose SuperCorrect, a novel two-stage framework that uses a large teacher model to supervise and correct both the reasoning and reflection processes of a smaller student model. In the first stage, we extract hierarchical high-level and detailed thought templates from the teacher model to guide the student model in eliciting more fine-grained reasoning thoughts. In the second stage, we introduce cross-model collaborative direct preference optimization (DPO) to enhance the self-correction abilities of the student model by following the teacher's correction traces during training. This cross-model DPO approach teaches the student model to effectively locate and resolve erroneous thoughts with error-driven insights from the teacher model, breaking the bottleneck of its thoughts and acquiring new skills and knowledge to tackle challenging problems. Extensive experiments consistently demonstrate our superiority over previous methods. Notably, our SuperCorrect-7B model significantly surpasses powerful DeepSeekMath-7B by 7.8%/5.3% and Qwen2.5-Math-7B by 15.1%/6.3% on MATH/GSM8K benchmarks, achieving new SOTA performance among all 7B models. Code: https://github.com/YangLing0818/SuperCorrect-llm