Distillation et raffinement du raisonnement dans les petits modèles de langage pour le réordonnancement de documents

Distillation and Refinement of Reasoning in Small Language Models for Document Re-ranking

April 4, 2025

Auteurs: Chris Samarinas, Hamed Zamani

cs.AI

Résumé

Nous présentons une nouvelle approche pour entraîner des modèles de langage de petite taille pour le classement de documents nécessitant un raisonnement intensif, qui combine la distillation de connaissances avec une optimisation par apprentissage par renforcement. Alors que les méthodes existantes reposent souvent sur des annotations humaines coûteuses ou sur de grands modèles de langage opaques, notre méthodologie exploite des données web et un modèle de langage enseignant (LLM) pour générer automatiquement des exemples d'entraînement de haute qualité accompagnés d'explications de pertinence. En formulant le classement de documents comme un problème d'apprentissage par renforcement et en encourageant des capacités de raisonnement explicites, nous entraînons un modèle de langage compact de 3 milliards de paramètres qui atteint des performances de pointe sur le benchmark BRIGHT. Notre modèle se classe troisième au classement tout en utilisant nettement moins de paramètres que les autres approches, surpassant des modèles plus de 20 fois plus grands. À travers des expériences approfondies, nous démontrons que la génération d'explications lors de l'inférence, plutôt que la prédiction directe des scores de pertinence, permet un raisonnement plus efficace avec des modèles de langage plus petits. La nature auto-supervisée de notre méthode offre une solution scalable et interprétable pour les systèmes modernes de recherche d'information.

English

We present a novel approach for training small language models for reasoning-intensive document ranking that combines knowledge distillation with reinforcement learning optimization. While existing methods often rely on expensive human annotations or large black-box language models, our methodology leverages web data and a teacher LLM to automatically generate high-quality training examples with relevance explanations. By framing document ranking as a reinforcement learning problem and incentivizing explicit reasoning capabilities, we train a compact 3B parameter language model that achieves state-of-the-art performance on the BRIGHT benchmark. Our model ranks third on the leaderboard while using substantially fewer parameters than other approaches, outperforming models that are over 20 times larger. Through extensive experiments, we demonstrate that generating explanations during inference, rather than directly predicting relevance scores, enables more effective reasoning with smaller language models. The self-supervised nature of our method offers a scalable and interpretable solution for modern information retrieval systems.