Самообучение с самокоррекцией для небольших языковых моделей

Self-Taught Self-Correction for Small Language Models

March 11, 2025

Авторы: Viktor Moskvoretskii, Chris Biemann, Irina Nikishina

cs.AI

Аннотация

Хотя крупные языковые модели (LLM) демонстрируют выдающиеся результаты в различных задачах, они всё ещё склонны к ошибкам. Ключевой задачей является обеспечение их способности к самокоррекции. В то время как предыдущие исследования полагались на внешние инструменты или крупные проприетарные модели, в данной работе исследуется самокоррекция в малых языковых моделях (SLM) посредством итеративной тонкой настройки с использованием исключительно самостоятельно сгенерированных данных. Мы представляем алгоритм Self-Taught Self-Correction (STaSC), который включает в себя несколько алгоритмических решений. Экспериментальные результаты на задаче ответов на вопросы показывают, что STaSC эффективно обучается самокоррекции, что приводит к значительному улучшению производительности. Наш анализ также предоставляет понимание механизмов самокоррекции и влияния различных решений на динамику обучения и общую производительность. Для поддержки будущих исследований мы публикуем наш удобный код и облегчённые модели.

English

Although large language models (LLMs) have achieved remarkable performance across various tasks, they remain prone to errors. A key challenge is enabling them to self-correct. While prior research has relied on external tools or large proprietary models, this work explores self-correction in small language models (SLMs) through iterative fine-tuning using solely self-generated data. We introduce the Self-Taught Self-Correction (STaSC) algorithm, which incorporates multiple algorithmic design choices. Experimental results on a question-answering task demonstrate that STaSC effectively learns self-correction, leading to significant performance improvements. Our analysis further provides insights into the mechanisms of self-correction and the impact of different design choices on learning dynamics and overall performance. To support future research, we release our user-friendly codebase and lightweight models.