Distillazione e Affinamento del Ragionamento nei Modelli Linguistici di Piccole Dimensioni per il Riordinamento dei Documenti

Distillation and Refinement of Reasoning in Small Language Models for Document Re-ranking

April 4, 2025

Autori: Chris Samarinas, Hamed Zamani

cs.AI

Abstract

Presentiamo un approccio innovativo per l'addestramento di modelli linguistici di piccole dimensioni per il ranking di documenti ad alta intensità di ragionamento, che combina la distillazione della conoscenza con l'ottimizzazione tramite apprendimento per rinforzo. Mentre i metodi esistenti spesso si basano su costose annotazioni umane o su grandi modelli linguistici black-box, la nostra metodologia sfrutta dati web e un modello linguistico insegnante (LLM) per generare automaticamente esempi di addestramento di alta qualità con spiegazioni sulla rilevanza. Inquadrando il ranking di documenti come un problema di apprendimento per rinforzo e incentivando capacità di ragionamento esplicite, addestriamo un modello linguistico compatto da 3 miliardi di parametri che raggiunge prestazioni all'avanguardia sul benchmark BRIGHT. Il nostro modello si posiziona al terzo posto nella classifica pur utilizzando un numero significativamente inferiore di parametri rispetto ad altri approcci, superando modelli oltre 20 volte più grandi. Attraverso esperimenti estensivi, dimostriamo che la generazione di spiegazioni durante l'inferenza, anziché la previsione diretta dei punteggi di rilevanza, consente un ragionamento più efficace con modelli linguistici più piccoli. La natura auto-supervisionata del nostro metodo offre una soluzione scalabile e interpretabile per i moderni sistemi di information retrieval.

English

We present a novel approach for training small language models for reasoning-intensive document ranking that combines knowledge distillation with reinforcement learning optimization. While existing methods often rely on expensive human annotations or large black-box language models, our methodology leverages web data and a teacher LLM to automatically generate high-quality training examples with relevance explanations. By framing document ranking as a reinforcement learning problem and incentivizing explicit reasoning capabilities, we train a compact 3B parameter language model that achieves state-of-the-art performance on the BRIGHT benchmark. Our model ranks third on the leaderboard while using substantially fewer parameters than other approaches, outperforming models that are over 20 times larger. Through extensive experiments, we demonstrate that generating explanations during inference, rather than directly predicting relevance scores, enables more effective reasoning with smaller language models. The self-supervised nature of our method offers a scalable and interpretable solution for modern information retrieval systems.