自己学習型自己修正による小型言語モデルの改善

Self-Taught Self-Correction for Small Language Models

March 11, 2025

著者: Viktor Moskvoretskii, Chris Biemann, Irina Nikishina

cs.AI

要旨

大規模言語モデル（LLM）は様々なタスクで顕著な性能を達成しているものの、依然としてエラーが発生しやすいという課題があります。その中でも重要な課題の一つは、モデル自身による自己修正能力を実現することです。これまでの研究では外部ツールや大規模なプロプライエタリモデルに依存してきましたが、本研究では、自己生成データのみを用いた反復的なファインチューニングを通じて、小規模言語モデル（SLM）における自己修正を探求します。我々は、複数のアルゴリズム設計選択を組み込んだ「自己学習型自己修正（STaSC）」アルゴリズムを提案します。質問応答タスクにおける実験結果は、STaSCが効果的に自己修正を学習し、性能の大幅な向上をもたらすことを示しています。さらに、我々の分析は、自己修正のメカニズムや、異なる設計選択が学習ダイナミクスと全体的な性能に与える影響についての洞察を提供します。今後の研究を支援するため、使いやすいコードベースと軽量モデルを公開します。

English

Although large language models (LLMs) have achieved remarkable performance across various tasks, they remain prone to errors. A key challenge is enabling them to self-correct. While prior research has relied on external tools or large proprietary models, this work explores self-correction in small language models (SLMs) through iterative fine-tuning using solely self-generated data. We introduce the Self-Taught Self-Correction (STaSC) algorithm, which incorporates multiple algorithmic design choices. Experimental results on a question-answering task demonstrate that STaSC effectively learns self-correction, leading to significant performance improvements. Our analysis further provides insights into the mechanisms of self-correction and the impact of different design choices on learning dynamics and overall performance. To support future research, we release our user-friendly codebase and lightweight models.