SuperCorrect : Superviser et Corriger les Modèles de Langage avec des Informations Basées sur les Erreurs

SuperCorrect: Supervising and Correcting Language Models with Error-Driven Insights

October 11, 2024

Auteurs: Ling Yang, Zhaochen Yu, Tianjun Zhang, Minkai Xu, Joseph E. Gonzalez, Bin Cui, Shuicheng Yan

cs.AI

Résumé

Les grands modèles de langage (LLM) tels que GPT-4, PaLM et LLaMA ont montré des améliorations significatives dans diverses tâches de raisonnement. Cependant, des modèles plus petits tels que Llama-3-8B et DeepSeekMath-Base ont encore du mal avec le raisonnement mathématique complexe car ils échouent à identifier et corriger efficacement les erreurs de raisonnement. Les récentes méthodes basées sur la réflexion visent à résoudre ces problèmes en permettant l'auto-réflexion et l'auto-correction, mais elles rencontrent encore des défis pour détecter indépendamment les erreurs dans leurs étapes de raisonnement. Pour surmonter ces limitations, nous proposons SuperCorrect, un nouveau cadre en deux étapes qui utilise un grand modèle enseignant pour superviser et corriger à la fois les processus de raisonnement et de réflexion d'un modèle étudiant plus petit. Dans la première étape, nous extrayons des modèles enseignants des modèles de pensée hiérarchiques de haut niveau et détaillés pour guider le modèle étudiant dans l'élucidation de pensées de raisonnement plus fines. Dans la deuxième étape, nous introduisons une optimisation de préférence directe collaborative entre modèles (DPO) pour améliorer les capacités d'auto-correction du modèle étudiant en suivant les traces de correction du modèle enseignant pendant l'entraînement. Cette approche DPO entre modèles enseigne au modèle étudiant à localiser et résoudre efficacement les pensées erronées avec des idées basées sur les erreurs du modèle enseignant, brisant le goulot d'étranglement de ses pensées et acquérant de nouvelles compétences et connaissances pour relever des problèmes complexes. Des expériences approfondies démontrent de manière cohérente notre supériorité par rapport aux méthodes précédentes. Notamment, notre modèle SuperCorrect-7B surpasse significativement le puissant DeepSeekMath-7B de 7,8%/5,3% et Qwen2.5-Math-7B de 15,1%/6,3% sur les référentiels MATH/GSM8K, atteignant de nouvelles performances de pointe parmi tous les modèles 7B. Code : https://github.com/YangLing0818/SuperCorrect-llm

English

Large language models (LLMs) like GPT-4, PaLM, and LLaMA have shown significant improvements in various reasoning tasks. However, smaller models such as Llama-3-8B and DeepSeekMath-Base still struggle with complex mathematical reasoning because they fail to effectively identify and correct reasoning errors. Recent reflection-based methods aim to address these issues by enabling self-reflection and self-correction, but they still face challenges in independently detecting errors in their reasoning steps. To overcome these limitations, we propose SuperCorrect, a novel two-stage framework that uses a large teacher model to supervise and correct both the reasoning and reflection processes of a smaller student model. In the first stage, we extract hierarchical high-level and detailed thought templates from the teacher model to guide the student model in eliciting more fine-grained reasoning thoughts. In the second stage, we introduce cross-model collaborative direct preference optimization (DPO) to enhance the self-correction abilities of the student model by following the teacher's correction traces during training. This cross-model DPO approach teaches the student model to effectively locate and resolve erroneous thoughts with error-driven insights from the teacher model, breaking the bottleneck of its thoughts and acquiring new skills and knowledge to tackle challenging problems. Extensive experiments consistently demonstrate our superiority over previous methods. Notably, our SuperCorrect-7B model significantly surpasses powerful DeepSeekMath-7B by 7.8%/5.3% and Qwen2.5-Math-7B by 15.1%/6.3% on MATH/GSM8K benchmarks, achieving new SOTA performance among all 7B models. Code: https://github.com/YangLing0818/SuperCorrect-llm