REARANK: Redeneerherrangschikkingsagent via Reinforcement Learning

REARANK: Reasoning Re-ranking Agent via Reinforcement Learning

May 26, 2025

Auteurs: Le Zhang, Bo Wang, Xipeng Qiu, Siva Reddy, Aishwarya Agrawal

cs.AI

Samenvatting

We presenteren REARANK, een lijstgewijs redeneerend herrangschikkingsagent gebaseerd op een groot taalmodel (LLM). REARANK redeneert expliciet voordat het herrangschikt, wat zowel de prestaties als de interpreteerbaarheid aanzienlijk verbetert. Door gebruik te maken van reinforcement learning en data-augmentatie behaalt REARANK aanzienlijke verbeteringen ten opzichte van baseline-modellen op populaire informatiezoekbenchmarks, waarbij opvallend genoeg slechts 179 geannoteerde voorbeelden nodig zijn. Gebouwd op Qwen2.5-7B, toont onze REARANK-7B prestaties die vergelijkbaar zijn met GPT-4 op zowel domein-specifieke als domein-overstijgende benchmarks en overtreft zelfs GPT-4 op redeneerintensieve BRIGHT-benchmarks. Deze resultaten onderstrepen de effectiviteit van onze aanpak en benadrukken hoe reinforcement learning de redeneervaardigheden van LLM's kan verbeteren bij herrangschikking.

English

We present REARANK, a large language model (LLM)-based listwise reasoning reranking agent. REARANK explicitly reasons before reranking, significantly improving both performance and interpretability. Leveraging reinforcement learning and data augmentation, REARANK achieves substantial improvements over baseline models across popular information retrieval benchmarks, notably requiring only 179 annotated samples. Built on top of Qwen2.5-7B, our REARANK-7B demonstrates performance comparable to GPT-4 on both in-domain and out-of-domain benchmarks and even surpasses GPT-4 on reasoning-intensive BRIGHT benchmarks. These results underscore the effectiveness of our approach and highlight how reinforcement learning can enhance LLM reasoning capabilities in reranking.