Destillation und Verfeinerung von Argumentationsfähigkeiten in kleinen Sprachmodellen für die Dokumentenneusortierung

Distillation and Refinement of Reasoning in Small Language Models for Document Re-ranking

April 4, 2025

Autoren: Chris Samarinas, Hamed Zamani

cs.AI

Zusammenfassung

Wir präsentieren einen neuartigen Ansatz zur Schulung kleiner Sprachmodelle für aufwändige Dokumentenbewertungen, der Wissensdistillation mit Optimierung durch Reinforcement Learning kombiniert. Während bestehende Methoden oft auf teure menschliche Annotationen oder große Black-Box-Sprachmodelle angewiesen sind, nutzt unsere Methodik Webdaten und ein Lehrer-LLM, um automatisch hochwertige Trainingsbeispiele mit Relevanzerklärungen zu generieren. Indem wir die Dokumentenbewertung als ein Reinforcement-Learning-Problem formulieren und explizite Fähigkeiten zur Schlussfolgerung fördern, trainieren wir ein kompaktes Sprachmodell mit 3 Milliarden Parametern, das Spitzenleistungen auf dem BRIGHT-Benchmark erzielt. Unser Modell belegt den dritten Platz auf der Bestenliste, verwendet dabei deutlich weniger Parameter als andere Ansätze und übertrifft Modelle, die mehr als 20-mal größer sind. Durch umfangreiche Experimente zeigen wir, dass die Generierung von Erklärungen während der Inferenz, anstatt der direkten Vorhersage von Relevanzwerten, eine effektivere Schlussfolgerung mit kleineren Sprachmodellen ermöglicht. Der selbstüberwachte Charakter unserer Methode bietet eine skalierbare und interpretierbare Lösung für moderne Informationsabfragesysteme.

English

We present a novel approach for training small language models for reasoning-intensive document ranking that combines knowledge distillation with reinforcement learning optimization. While existing methods often rely on expensive human annotations or large black-box language models, our methodology leverages web data and a teacher LLM to automatically generate high-quality training examples with relevance explanations. By framing document ranking as a reinforcement learning problem and incentivizing explicit reasoning capabilities, we train a compact 3B parameter language model that achieves state-of-the-art performance on the BRIGHT benchmark. Our model ranks third on the leaderboard while using substantially fewer parameters than other approaches, outperforming models that are over 20 times larger. Through extensive experiments, we demonstrate that generating explanations during inference, rather than directly predicting relevance scores, enables more effective reasoning with smaller language models. The self-supervised nature of our method offers a scalable and interpretable solution for modern information retrieval systems.