Autoapprendimento e Autocorrezione per Modelli Linguistici di Piccole Dimensioni

Self-Taught Self-Correction for Small Language Models

March 11, 2025

Autori: Viktor Moskvoretskii, Chris Biemann, Irina Nikishina

cs.AI

Abstract

Sebbene i grandi modelli linguistici (LLM) abbiano ottenuto prestazioni notevoli in vari compiti, rimangono soggetti a errori. Una sfida chiave è consentire loro di auto-correggersi. Mentre ricerche precedenti si sono affidate a strumenti esterni o a grandi modelli proprietari, questo lavoro esplora l'auto-correzione nei piccoli modelli linguistici (SLM) attraverso un fine-tuning iterativo utilizzando esclusivamente dati auto-generati. Introduciamo l'algoritmo Self-Taught Self-Correction (STaSC), che incorpora diverse scelte progettuali algoritmiche. I risultati sperimentali su un compito di risposta alle domande dimostrano che STaSC apprende efficacemente l'auto-correzione, portando a significativi miglioramenti delle prestazioni. La nostra analisi fornisce inoltre approfondimenti sui meccanismi di auto-correzione e sull'impatto di diverse scelte progettuali sulle dinamiche di apprendimento e sulle prestazioni complessive. Per supportare future ricerche, rilasciamo il nostro codice user-friendly e modelli leggeri.

English

Although large language models (LLMs) have achieved remarkable performance across various tasks, they remain prone to errors. A key challenge is enabling them to self-correct. While prior research has relied on external tools or large proprietary models, this work explores self-correction in small language models (SLMs) through iterative fine-tuning using solely self-generated data. We introduce the Self-Taught Self-Correction (STaSC) algorithm, which incorporates multiple algorithmic design choices. Experimental results on a question-answering task demonstrate that STaSC effectively learns self-correction, leading to significant performance improvements. Our analysis further provides insights into the mechanisms of self-correction and the impact of different design choices on learning dynamics and overall performance. To support future research, we release our user-friendly codebase and lightweight models.