Дистилляция и уточнение рассуждений в малых языковых моделях для повторного ранжирования документов

Distillation and Refinement of Reasoning in Small Language Models for Document Re-ranking

April 4, 2025

Авторы: Chris Samarinas, Hamed Zamani

cs.AI

Аннотация

Мы представляем новый подход для обучения компактных языковых моделей для задач ранжирования документов, требующих сложных рассуждений, который сочетает дистилляцию знаний с оптимизацией методом обучения с подкреплением. В то время как существующие методы часто полагаются на дорогостоящие аннотации от людей или крупные "черные ящики" языковых моделей, наша методология использует веб-данные и языковую модель-учитель для автоматической генерации высококачественных обучающих примеров с объяснениями релевантности. Формулируя задачу ранжирования документов как проблему обучения с подкреплением и стимулируя развитие явных способностей к рассуждению, мы обучаем компактную языковую модель с 3 миллиардами параметров, которая достигает наилучших результатов на бенчмарке BRIGHT. Наша модель занимает третье место в рейтинге, используя значительно меньше параметров по сравнению с другими подходами, и превосходит модели, которые более чем в 20 раз крупнее. В ходе обширных экспериментов мы демонстрируем, что генерация объяснений во время вывода, а не прямое предсказание оценок релевантности, позволяет более эффективно использовать рассуждения в компактных языковых моделях. Самоконтролируемый характер нашего метода предлагает масштабируемое и интерпретируемое решение для современных систем информационного поиска.

English

We present a novel approach for training small language models for reasoning-intensive document ranking that combines knowledge distillation with reinforcement learning optimization. While existing methods often rely on expensive human annotations or large black-box language models, our methodology leverages web data and a teacher LLM to automatically generate high-quality training examples with relevance explanations. By framing document ranking as a reinforcement learning problem and incentivizing explicit reasoning capabilities, we train a compact 3B parameter language model that achieves state-of-the-art performance on the BRIGHT benchmark. Our model ranks third on the leaderboard while using substantially fewer parameters than other approaches, outperforming models that are over 20 times larger. Through extensive experiments, we demonstrate that generating explanations during inference, rather than directly predicting relevance scores, enables more effective reasoning with smaller language models. The self-supervised nature of our method offers a scalable and interpretable solution for modern information retrieval systems.