Distillatie en verfijning van redenering in kleine taalmodelen voor documentherrangschikking

Distillation and Refinement of Reasoning in Small Language Models for Document Re-ranking

April 4, 2025

Auteurs: Chris Samarinas, Hamed Zamani

cs.AI

Samenvatting

We presenteren een nieuwe aanpak voor het trainen van kleine taalmodellen voor redeneerintensief documentranking, waarbij kennisdistillatie wordt gecombineerd met optimalisatie via reinforcement learning. Terwijl bestaande methoden vaak afhankelijk zijn van kostbare menselijke annotaties of grote black-box taalmodellen, maakt onze methodologie gebruik van webdata en een leraar-LLM om automatisch hoogwaardige trainingsvoorbeelden met relevantieverklaringen te genereren. Door documentranking te formuleren als een reinforcement learning-probleem en expliciete redeneervaardigheden te stimuleren, trainen we een compact taalmodel met 3B parameters dat state-of-the-art prestaties behaalt op de BRIGHT-benchmark. Ons model staat op de derde plaats van de leaderboard terwijl het aanzienlijk minder parameters gebruikt dan andere benaderingen, en presteert beter dan modellen die meer dan 20 keer groter zijn. Door middel van uitgebreide experimenten tonen we aan dat het genereren van verklaringen tijdens inferentie, in plaats van het direct voorspellen van relevantiescores, effectiever redeneren mogelijk maakt met kleinere taalmodellen. Het zelfgesuperviseerde karakter van onze methode biedt een schaalbare en interpreteerbare oplossing voor moderne informatie- retrievalsystemen.

English

We present a novel approach for training small language models for reasoning-intensive document ranking that combines knowledge distillation with reinforcement learning optimization. While existing methods often rely on expensive human annotations or large black-box language models, our methodology leverages web data and a teacher LLM to automatically generate high-quality training examples with relevance explanations. By framing document ranking as a reinforcement learning problem and incentivizing explicit reasoning capabilities, we train a compact 3B parameter language model that achieves state-of-the-art performance on the BRIGHT benchmark. Our model ranks third on the leaderboard while using substantially fewer parameters than other approaches, outperforming models that are over 20 times larger. Through extensive experiments, we demonstrate that generating explanations during inference, rather than directly predicting relevance scores, enables more effective reasoning with smaller language models. The self-supervised nature of our method offers a scalable and interpretable solution for modern information retrieval systems.