Autoaprendizaje y Autocorrección para Modelos de Lenguaje Pequeños

Self-Taught Self-Correction for Small Language Models

March 11, 2025

Autores: Viktor Moskvoretskii, Chris Biemann, Irina Nikishina

cs.AI

Resumen

Aunque los modelos de lenguaje de gran escala (LLMs) han logrado un rendimiento notable en diversas tareas, siguen siendo propensos a errores. Un desafío clave es permitirles autocorregirse. Mientras investigaciones previas han dependido de herramientas externas o modelos propietarios de gran escala, este trabajo explora la autocorrección en modelos de lenguaje pequeños (SLMs) mediante ajuste fino iterativo utilizando únicamente datos autogenerados. Introducimos el algoritmo Self-Taught Self-Correction (STaSC), que incorpora múltiples decisiones de diseño algorítmico. Los resultados experimentales en una tarea de respuesta a preguntas demuestran que STaSC aprende efectivamente la autocorrección, lo que conduce a mejoras significativas en el rendimiento. Nuestro análisis proporciona además insights sobre los mecanismos de autocorrección y el impacto de diferentes decisiones de diseño en la dinámica de aprendizaje y el rendimiento general. Para apoyar investigaciones futuras, publicamos nuestra base de código fácil de usar y modelos livianos.

English

Although large language models (LLMs) have achieved remarkable performance across various tasks, they remain prone to errors. A key challenge is enabling them to self-correct. While prior research has relied on external tools or large proprietary models, this work explores self-correction in small language models (SLMs) through iterative fine-tuning using solely self-generated data. We introduce the Self-Taught Self-Correction (STaSC) algorithm, which incorporates multiple algorithmic design choices. Experimental results on a question-answering task demonstrate that STaSC effectively learns self-correction, leading to significant performance improvements. Our analysis further provides insights into the mechanisms of self-correction and the impact of different design choices on learning dynamics and overall performance. To support future research, we release our user-friendly codebase and lightweight models.