REARANK: Агент повторного ранжирования на основе рассуждений с использованием обучения с подкреплением
REARANK: Reasoning Re-ranking Agent via Reinforcement Learning
May 26, 2025
Авторы: Le Zhang, Bo Wang, Xipeng Qiu, Siva Reddy, Aishwarya Agrawal
cs.AI
Аннотация
Мы представляем REARANK, агента для переранжирования списков на основе крупной языковой модели (LLM), использующего рассуждения. REARANK явно применяет рассуждения перед переранжированием, что значительно улучшает как производительность, так и интерпретируемость. Используя обучение с подкреплением и аугментацию данных, REARANK достигает существенного улучшения по сравнению с базовыми моделями на популярных бенчмарках информационного поиска, при этом требуя всего 179 аннотированных образцов. Построенный на основе Qwen2.5-7B, наш REARANK-7B демонстрирует производительность, сопоставимую с GPT-4, как на внутридоменных, так и на внедоменных бенчмарках, и даже превосходит GPT-4 на бенчмарках BRIGHT, требующих интенсивных рассуждений. Эти результаты подчеркивают эффективность нашего подхода и показывают, как обучение с подкреплением может улучшить способности LLM к рассуждениям в задачах переранжирования.
English
We present REARANK, a large language model (LLM)-based listwise reasoning
reranking agent. REARANK explicitly reasons before reranking, significantly
improving both performance and interpretability. Leveraging reinforcement
learning and data augmentation, REARANK achieves substantial improvements over
baseline models across popular information retrieval benchmarks, notably
requiring only 179 annotated samples. Built on top of Qwen2.5-7B, our
REARANK-7B demonstrates performance comparable to GPT-4 on both in-domain and
out-of-domain benchmarks and even surpasses GPT-4 on reasoning-intensive BRIGHT
benchmarks. These results underscore the effectiveness of our approach and
highlight how reinforcement learning can enhance LLM reasoning capabilities in
reranking.Summary
AI-Generated Summary