SuperCorrect: Het begeleiden en corrigeren van taalmodellen met foutgestuurde inzichten

SuperCorrect: Supervising and Correcting Language Models with Error-Driven Insights

October 11, 2024

Auteurs: Ling Yang, Zhaochen Yu, Tianjun Zhang, Minkai Xu, Joseph E. Gonzalez, Bin Cui, Shuicheng Yan

cs.AI

Samenvatting

Grote taalmodellen (LLM's) zoals GPT-4, PaLM en LLaMA hebben aanzienlijke verbeteringen laten zien in verschillende redeneertaken. Echter, kleinere modellen zoals Llama-3-8B en DeepSeekMath-Base hebben nog steeds moeite met complexe wiskundige redenering omdat ze er niet in slagen redeneerfouten effectief te identificeren en corrigeren. Recente reflectie-gebaseerde methoden trachten deze problemen aan te pakken door zelfreflectie en zelfcorrectie mogelijk te maken, maar ze ondervinden nog steeds uitdagingen bij het zelfstandig detecteren van fouten in hun redeneerstappen. Om deze beperkingen te overwinnen, stellen wij SuperCorrect voor, een nieuw tweefasig raamwerk dat een groot docentmodel gebruikt om zowel het redeneer- als reflectieproces van een kleiner studentmodel te begeleiden en corrigeren. In de eerste fase extraheren we hiërarchische hoog-niveau en gedetailleerde gedachtepatronen van het docentmodel om het studentmodel te begeleiden bij het oproepen van meer verfijnde redeneergedachten. In de tweede fase introduceren we cross-model samenwerkende directe voorkeursoptimalisatie (DPO) om de zelfcorrectiemogelijkheden van het studentmodel te verbeteren door tijdens de training de correctietracés van de docent te volgen. Deze cross-model DPO-benadering leert het studentmodel effectief foutieve gedachten te lokaliseren en op te lossen met inzichten uit het docentmodel die voortkomen uit fouten, waardoor de bottleneck van zijn gedachten wordt doorbroken en nieuwe vaardigheden en kennis worden verworven om uitdagende problemen aan te pakken. Uitgebreide experimenten tonen consequent onze superioriteit ten opzichte van eerdere methoden aan. Opmerkelijk genoeg overtreft ons SuperCorrect-7B-model significant krachtige DeepSeekMath-7B met 7,8%/5,3% en Qwen2.5-Math-7B met 15,1%/6,3% op MATH/GSM8K-benchmarks, waarmee het nieuwe SOTA-prestaties behaalt onder alle 7B-modellen. Code: https://github.com/YangLing0818/SuperCorrect-llm

English

Large language models (LLMs) like GPT-4, PaLM, and LLaMA have shown significant improvements in various reasoning tasks. However, smaller models such as Llama-3-8B and DeepSeekMath-Base still struggle with complex mathematical reasoning because they fail to effectively identify and correct reasoning errors. Recent reflection-based methods aim to address these issues by enabling self-reflection and self-correction, but they still face challenges in independently detecting errors in their reasoning steps. To overcome these limitations, we propose SuperCorrect, a novel two-stage framework that uses a large teacher model to supervise and correct both the reasoning and reflection processes of a smaller student model. In the first stage, we extract hierarchical high-level and detailed thought templates from the teacher model to guide the student model in eliciting more fine-grained reasoning thoughts. In the second stage, we introduce cross-model collaborative direct preference optimization (DPO) to enhance the self-correction abilities of the student model by following the teacher's correction traces during training. This cross-model DPO approach teaches the student model to effectively locate and resolve erroneous thoughts with error-driven insights from the teacher model, breaking the bottleneck of its thoughts and acquiring new skills and knowledge to tackle challenging problems. Extensive experiments consistently demonstrate our superiority over previous methods. Notably, our SuperCorrect-7B model significantly surpasses powerful DeepSeekMath-7B by 7.8%/5.3% and Qwen2.5-Math-7B by 15.1%/6.3% on MATH/GSM8K benchmarks, achieving new SOTA performance among all 7B models. Code: https://github.com/YangLing0818/SuperCorrect-llm