СуперКоррект: Наставничество и коррекция языковых моделей с использованием ошибочных выводов.

SuperCorrect: Supervising and Correcting Language Models with Error-Driven Insights

October 11, 2024

Авторы: Ling Yang, Zhaochen Yu, Tianjun Zhang, Minkai Xu, Joseph E. Gonzalez, Bin Cui, Shuicheng Yan

cs.AI

Аннотация

Большие языковые модели (LLM), такие как GPT-4, PaLM и LLaMA, показали значительные улучшения в различных задачах рассуждения. Однако более маленькие модели, такие как Llama-3-8B и DeepSeekMath-Base, все еще испытывают трудности с сложным математическим рассуждением, поскольку они не могут эффективно идентифицировать и исправлять ошибки рассуждения. Недавние методы на основе рефлексии стремятся решить эти проблемы, позволяя саморефлексии и самокоррекции, однако они все еще сталкиваются с проблемами в независимом обнаружении ошибок в своих шагах рассуждения. Для преодоления этих ограничений мы предлагаем SuperCorrect, новую двухэтапную структуру, которая использует большую учительскую модель для надзора и коррекции как процессов рассуждения, так и рефлексии более маленькой студенческой модели. На первом этапе мы извлекаем иерархические высокоуровневые и детальные шаблоны мыслей из учительской модели, чтобы направлять студенческую модель на выявление более детализированных мыслей рассуждения. На втором этапе мы вводим кросс-модельную коллаборативную оптимизацию прямых предпочтений (DPO), чтобы улучшить способности к самокоррекции студенческой модели, следуя за следами коррекции учителя во время обучения. Этот подход к кросс-модельной DPO обучает студенческую модель эффективно находить и исправлять ошибочные мысли с помощью ошибочных идей, полученных от учителя, преодолевая узкие места своих мыслей и приобретая новые навыки и знания для решения сложных проблем. Обширные эксперименты последовательно демонстрируют наше превосходство над предыдущими методами. Заметно, что наша модель SuperCorrect-7B значительно превосходит мощную модель DeepSeekMath-7B на 7,8%/5,3% и Qwen2.5-Math-7B на 15,1%/6,3% на бенчмарках MATH/GSM8K, достигая нового результата SOTA среди всех моделей 7B. Код: https://github.com/YangLing0818/SuperCorrect-llm

English

Large language models (LLMs) like GPT-4, PaLM, and LLaMA have shown significant improvements in various reasoning tasks. However, smaller models such as Llama-3-8B and DeepSeekMath-Base still struggle with complex mathematical reasoning because they fail to effectively identify and correct reasoning errors. Recent reflection-based methods aim to address these issues by enabling self-reflection and self-correction, but they still face challenges in independently detecting errors in their reasoning steps. To overcome these limitations, we propose SuperCorrect, a novel two-stage framework that uses a large teacher model to supervise and correct both the reasoning and reflection processes of a smaller student model. In the first stage, we extract hierarchical high-level and detailed thought templates from the teacher model to guide the student model in eliciting more fine-grained reasoning thoughts. In the second stage, we introduce cross-model collaborative direct preference optimization (DPO) to enhance the self-correction abilities of the student model by following the teacher's correction traces during training. This cross-model DPO approach teaches the student model to effectively locate and resolve erroneous thoughts with error-driven insights from the teacher model, breaking the bottleneck of its thoughts and acquiring new skills and knowledge to tackle challenging problems. Extensive experiments consistently demonstrate our superiority over previous methods. Notably, our SuperCorrect-7B model significantly surpasses powerful DeepSeekMath-7B by 7.8%/5.3% and Qwen2.5-Math-7B by 15.1%/6.3% on MATH/GSM8K benchmarks, achieving new SOTA performance among all 7B models. Code: https://github.com/YangLing0818/SuperCorrect-llm