SuperCorrect: Überwachung und Korrektur von Sprachmodellen mit fehlergesteuerten Erkenntnissen

SuperCorrect: Supervising and Correcting Language Models with Error-Driven Insights

October 11, 2024

Autoren: Ling Yang, Zhaochen Yu, Tianjun Zhang, Minkai Xu, Joseph E. Gonzalez, Bin Cui, Shuicheng Yan

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) wie GPT-4, PaLM und LLaMA haben signifikante Verbesserungen in verschiedenen Schlussfolgerungsaufgaben gezeigt. Kleinere Modelle wie Llama-3-8B und DeepSeekMath-Base haben jedoch immer noch Schwierigkeiten mit komplexen mathematischen Schlussfolgerungen, da sie Fehler im Denkprozess nicht effektiv identifizieren und korrigieren können. Aktuelle reflektionsbasierte Methoden zielen darauf ab, diese Probleme zu lösen, indem sie Selbstreflexion und Selbstkorrektur ermöglichen, stehen jedoch vor Herausforderungen bei der eigenständigen Erkennung von Fehlern in ihren Schlussfolgerungsschritten. Um diese Einschränkungen zu überwinden, schlagen wir SuperCorrect vor, ein neuartiges Zwei-Stufen-Framework, das ein großes Lehrermodell verwendet, um sowohl die Schlussfolgerungs- als auch die Reflexionsprozesse eines kleineren Schülermodells zu überwachen und zu korrigieren. In der ersten Stufe extrahieren wir hierarchische hochrangige und detaillierte Gedankenvorlagen aus dem Lehrermodell, um das Schülermodell bei der Herausarbeitung feinerer Schlussfolgerungen zu leiten. In der zweiten Stufe führen wir eine Cross-Model Collaborative Direct Preference Optimization (DPO) ein, um die Selbstkorrekturfähigkeiten des Schülermodells zu verbessern, indem es während des Trainings den Korrekturspuren des Lehrermodells folgt. Dieser Cross-Model DPO-Ansatz lehrt das Schülermodell, fehlerhafte Gedanken effektiv zu lokalisieren und zu beheben, indem es fehlergetriebene Erkenntnisse des Lehrermodells verwendet, um den Engpass seiner Gedanken zu überwinden und neue Fähigkeiten und Kenntnisse zu erlangen, um herausfordernde Probleme zu bewältigen. Umfangreiche Experimente zeigen konsistent unsere Überlegenheit gegenüber früheren Methoden. Bemerkenswert übertrifft unser SuperCorrect-7B-Modell signifikant das leistungsstarke DeepSeekMath-7B um 7,8%/5,3% und Qwen2.5-Math-7B um 15,1%/6,3% auf den MATH/GSM8K-Benchmarks und erreicht eine neue SOTA-Leistung unter allen 7B-Modellen. Code: https://github.com/YangLing0818/SuperCorrect-llm

English

Large language models (LLMs) like GPT-4, PaLM, and LLaMA have shown significant improvements in various reasoning tasks. However, smaller models such as Llama-3-8B and DeepSeekMath-Base still struggle with complex mathematical reasoning because they fail to effectively identify and correct reasoning errors. Recent reflection-based methods aim to address these issues by enabling self-reflection and self-correction, but they still face challenges in independently detecting errors in their reasoning steps. To overcome these limitations, we propose SuperCorrect, a novel two-stage framework that uses a large teacher model to supervise and correct both the reasoning and reflection processes of a smaller student model. In the first stage, we extract hierarchical high-level and detailed thought templates from the teacher model to guide the student model in eliciting more fine-grained reasoning thoughts. In the second stage, we introduce cross-model collaborative direct preference optimization (DPO) to enhance the self-correction abilities of the student model by following the teacher's correction traces during training. This cross-model DPO approach teaches the student model to effectively locate and resolve erroneous thoughts with error-driven insights from the teacher model, breaking the bottleneck of its thoughts and acquiring new skills and knowledge to tackle challenging problems. Extensive experiments consistently demonstrate our superiority over previous methods. Notably, our SuperCorrect-7B model significantly surpasses powerful DeepSeekMath-7B by 7.8%/5.3% and Qwen2.5-Math-7B by 15.1%/6.3% on MATH/GSM8K benchmarks, achieving new SOTA performance among all 7B models. Code: https://github.com/YangLing0818/SuperCorrect-llm