Auto-apprentissage et auto-correction pour les petits modèles de langage

Self-Taught Self-Correction for Small Language Models

March 11, 2025

Auteurs: Viktor Moskvoretskii, Chris Biemann, Irina Nikishina

cs.AI

Résumé

Bien que les grands modèles de langage (LLMs) aient atteint des performances remarquables sur diverses tâches, ils restent sujets à des erreurs. Un défi majeur consiste à leur permettre de s'auto-corriger. Alors que les recherches précédentes s'appuyaient sur des outils externes ou de grands modèles propriétaires, ce travail explore l'auto-correction dans les petits modèles de langage (SLMs) grâce à un affinage itératif utilisant uniquement des données auto-générées. Nous introduisons l'algorithme Self-Taught Self-Correction (STaSC), qui intègre plusieurs choix de conception algorithmique. Les résultats expérimentaux sur une tâche de question-réponse démontrent que STaSC apprend efficacement l'auto-correction, conduisant à des améliorations significatives des performances. Notre analyse fournit en outre des insights sur les mécanismes d'auto-correction et l'impact des différents choix de conception sur la dynamique d'apprentissage et les performances globales. Pour soutenir les recherches futures, nous mettons à disposition notre codebase conviviale et nos modèles légers.

English

Although large language models (LLMs) have achieved remarkable performance across various tasks, they remain prone to errors. A key challenge is enabling them to self-correct. While prior research has relied on external tools or large proprietary models, this work explores self-correction in small language models (SLMs) through iterative fine-tuning using solely self-generated data. We introduce the Self-Taught Self-Correction (STaSC) algorithm, which incorporates multiple algorithmic design choices. Experimental results on a question-answering task demonstrate that STaSC effectively learns self-correction, leading to significant performance improvements. Our analysis further provides insights into the mechanisms of self-correction and the impact of different design choices on learning dynamics and overall performance. To support future research, we release our user-friendly codebase and lightweight models.