Autoaprendizagem de Autocorreção para Modelos de Linguagem Pequenos

Self-Taught Self-Correction for Small Language Models

March 11, 2025

Autores: Viktor Moskvoretskii, Chris Biemann, Irina Nikishina

cs.AI

Resumo

Embora os grandes modelos de linguagem (LLMs) tenham alcançado desempenho notável em diversas tarefas, eles ainda estão sujeitos a erros. Um desafio fundamental é capacitá-los a se autocorrigir. Enquanto pesquisas anteriores dependiam de ferramentas externas ou grandes modelos proprietários, este trabalho explora a autocorreção em pequenos modelos de linguagem (SLMs) por meio de ajuste fino iterativo utilizando apenas dados autogerados. Apresentamos o algoritmo Self-Taught Self-Correction (STaSC), que incorpora múltiplas escolhas de design algorítmico. Resultados experimentais em uma tarefa de resposta a perguntas demonstram que o STaSC aprende efetivamente a autocorreção, levando a melhorias significativas de desempenho. Nossa análise ainda fornece insights sobre os mecanismos de autocorreção e o impacto de diferentes escolhas de design na dinâmica de aprendizado e no desempenho geral. Para apoiar pesquisas futuras, disponibilizamos nossa base de código amigável e modelos leves.

English

Although large language models (LLMs) have achieved remarkable performance across various tasks, they remain prone to errors. A key challenge is enabling them to self-correct. While prior research has relied on external tools or large proprietary models, this work explores self-correction in small language models (SLMs) through iterative fine-tuning using solely self-generated data. We introduce the Self-Taught Self-Correction (STaSC) algorithm, which incorporates multiple algorithmic design choices. Experimental results on a question-answering task demonstrate that STaSC effectively learns self-correction, leading to significant performance improvements. Our analysis further provides insights into the mechanisms of self-correction and the impact of different design choices on learning dynamics and overall performance. To support future research, we release our user-friendly codebase and lightweight models.