SuperCorrigir: Supervisionar e Corrigir Modelos de Linguagem com Insights Orientados por Erros

SuperCorrect: Supervising and Correcting Language Models with Error-Driven Insights

October 11, 2024

Autores: Ling Yang, Zhaochen Yu, Tianjun Zhang, Minkai Xu, Joseph E. Gonzalez, Bin Cui, Shuicheng Yan

cs.AI

Resumo

Grandes modelos de linguagem (LLMs) como GPT-4, PaLM e LLaMA têm demonstrado melhorias significativas em várias tarefas de raciocínio. No entanto, modelos menores como Llama-3-8B e DeepSeekMath-Base ainda enfrentam dificuldades com o raciocínio matemático complexo, pois falham em identificar e corrigir efetivamente erros de raciocínio. Métodos recentes baseados em reflexão buscam abordar essas questões, permitindo a autorreflexão e autocorreção, mas ainda enfrentam desafios na detecção independente de erros em seus passos de raciocínio. Para superar essas limitações, propomos o SuperCorrect, um novo framework em duas etapas que utiliza um grande modelo professor para supervisionar e corrigir tanto os processos de raciocínio quanto de reflexão de um modelo aluno menor. Na primeira etapa, extraímos modelos de pensamento hierárquicos de alto nível e detalhados do modelo professor para orientar o modelo aluno na elicitação de pensamentos de raciocínio mais refinados. Na segunda etapa, introduzimos a otimização de preferência direta colaborativa entre modelos (DPO) para aprimorar as habilidades de autocorreção do modelo aluno, seguindo os rastros de correção do professor durante o treinamento. Essa abordagem de DPO entre modelos ensina o modelo aluno a localizar e resolver efetivamente pensamentos errôneos com insights orientados por erros do modelo professor, rompendo o gargalo de seus pensamentos e adquirindo novas habilidades e conhecimentos para lidar com problemas desafiadores. Experimentos extensivos demonstram consistentemente nossa superioridade em relação a métodos anteriores. Notavelmente, nosso modelo SuperCorrect-7B supera significativamente o poderoso DeepSeekMath-7B em 7,8%/5,3% e o Qwen2.5-Math-7B em 15,1%/6,3% nos benchmarks MATH/GSM8K, alcançando um novo desempenho de SOTA entre todos os modelos 7B. Código: https://github.com/YangLing0818/SuperCorrect-llm

English

Large language models (LLMs) like GPT-4, PaLM, and LLaMA have shown significant improvements in various reasoning tasks. However, smaller models such as Llama-3-8B and DeepSeekMath-Base still struggle with complex mathematical reasoning because they fail to effectively identify and correct reasoning errors. Recent reflection-based methods aim to address these issues by enabling self-reflection and self-correction, but they still face challenges in independently detecting errors in their reasoning steps. To overcome these limitations, we propose SuperCorrect, a novel two-stage framework that uses a large teacher model to supervise and correct both the reasoning and reflection processes of a smaller student model. In the first stage, we extract hierarchical high-level and detailed thought templates from the teacher model to guide the student model in eliciting more fine-grained reasoning thoughts. In the second stage, we introduce cross-model collaborative direct preference optimization (DPO) to enhance the self-correction abilities of the student model by following the teacher's correction traces during training. This cross-model DPO approach teaches the student model to effectively locate and resolve erroneous thoughts with error-driven insights from the teacher model, breaking the bottleneck of its thoughts and acquiring new skills and knowledge to tackle challenging problems. Extensive experiments consistently demonstrate our superiority over previous methods. Notably, our SuperCorrect-7B model significantly surpasses powerful DeepSeekMath-7B by 7.8%/5.3% and Qwen2.5-Math-7B by 15.1%/6.3% on MATH/GSM8K benchmarks, achieving new SOTA performance among all 7B models. Code: https://github.com/YangLing0818/SuperCorrect-llm