SuperCorreggi: Supervisione e Correzione dei Modelli Linguistici con Intuizioni Guidate dagli Errori

Abstract

I modelli linguistici di grandi dimensioni (LLM) come GPT-4, PaLM e LLaMA hanno dimostrato significativi miglioramenti in varie attività di ragionamento. Tuttavia, modelli più piccoli come Llama-3-8B e DeepSeekMath-Base faticano ancora con il ragionamento matematico complesso poiché non riescono a identificare ed correggere efficacemente gli errori di ragionamento. Metodi recenti basati sulla riflessione mirano ad affrontare questi problemi abilitando l'auto-riflessione e l'auto-correzione, ma si trovano ancora ad affrontare sfide nel rilevare autonomamente gli errori nei loro passaggi di ragionamento. Per superare queste limitazioni, proponiamo SuperCorrect, un nuovo framework a due fasi che utilizza un grande modello insegnante per supervisionare e correggere sia i processi di ragionamento che di riflessione di un modello studente più piccolo. Nella prima fase, estraiamo modelli di pensiero gerarchici ad alto livello e dettagliati dal modello insegnante per guidare il modello studente nell'elicitare pensieri di ragionamento più dettagliati. Nella seconda fase, introduciamo l'ottimizzazione delle preferenze dirette collaborativa tra modelli (DPO) per potenziare le capacità di auto-correzione del modello studente seguendo le tracce di correzione dell'insegnante durante l'addestramento. Questo approccio DPO tra modelli insegna al modello studente a individuare ed risolvere efficacemente pensieri errati con intuizioni guidate dagli errori del modello insegnante, superando il collo di bottiglia dei suoi pensieri e acquisendo nuove competenze e conoscenze per affrontare problemi impegnativi. Estesi esperimenti dimostrano costantemente la nostra superiorità rispetto ai metodi precedenti. In particolare, il nostro modello SuperCorrect-7B supera significativamente il potente DeepSeekMath-7B del 7.8%/5.3% e Qwen2.5-Math-7B del 15.1%/6.3% sui benchmark MATH/GSM8K, raggiungendo nuove prestazioni SOTA tra tutti i modelli 7B. Codice: https://github.com/YangLing0818/SuperCorrect-llm

English

Large language models (LLMs) like GPT-4, PaLM, and LLaMA have shown significant improvements in various reasoning tasks. However, smaller models such as Llama-3-8B and DeepSeekMath-Base still struggle with complex mathematical reasoning because they fail to effectively identify and correct reasoning errors. Recent reflection-based methods aim to address these issues by enabling self-reflection and self-correction, but they still face challenges in independently detecting errors in their reasoning steps. To overcome these limitations, we propose SuperCorrect, a novel two-stage framework that uses a large teacher model to supervise and correct both the reasoning and reflection processes of a smaller student model. In the first stage, we extract hierarchical high-level and detailed thought templates from the teacher model to guide the student model in eliciting more fine-grained reasoning thoughts. In the second stage, we introduce cross-model collaborative direct preference optimization (DPO) to enhance the self-correction abilities of the student model by following the teacher's correction traces during training. This cross-model DPO approach teaches the student model to effectively locate and resolve erroneous thoughts with error-driven insights from the teacher model, breaking the bottleneck of its thoughts and acquiring new skills and knowledge to tackle challenging problems. Extensive experiments consistently demonstrate our superiority over previous methods. Notably, our SuperCorrect-7B model significantly surpasses powerful DeepSeekMath-7B by 7.8%/5.3% and Qwen2.5-Math-7B by 15.1%/6.3% on MATH/GSM8K benchmarks, achieving new SOTA performance among all 7B models. Code: https://github.com/YangLing0818/SuperCorrect-llm

SuperCorreggi: Supervisione e Correzione dei Modelli Linguistici con Intuizioni Guidate dagli Errori

SuperCorrect: Supervising and Correcting Language Models with Error-Driven Insights

Abstract

Support