REARANK: Agente di Riordinamento Basato sul Ragionamento tramite Apprendimento per Rinforzo

REARANK: Reasoning Re-ranking Agent via Reinforcement Learning

May 26, 2025

Autori: Le Zhang, Bo Wang, Xipeng Qiu, Siva Reddy, Aishwarya Agrawal

cs.AI

Abstract

Presentiamo REARANK, un agente di riordinamento basato su un modello linguistico di grandi dimensioni (LLM) che utilizza un ragionamento di tipo listwise. REARANK esegue un ragionamento esplicito prima di procedere al riordinamento, migliorando significativamente sia le prestazioni che l'interpretabilità. Sfruttando l'apprendimento per rinforzo e l'aumento dei dati, REARANK ottiene miglioramenti sostanziali rispetto ai modelli di riferimento su popolari benchmark di information retrieval, richiedendo in particolare solo 179 campioni annotati. Basato su Qwen2.5-7B, il nostro REARANK-7B dimostra prestazioni paragonabili a GPT-4 sia su benchmark in dominio che fuori dominio, superando addirittura GPT-4 su benchmark BRIGHT ad alta intensità di ragionamento. Questi risultati sottolineano l'efficacia del nostro approccio e evidenziano come l'apprendimento per rinforzo possa potenziare le capacità di ragionamento degli LLM nel riordinamento.

English

We present REARANK, a large language model (LLM)-based listwise reasoning reranking agent. REARANK explicitly reasons before reranking, significantly improving both performance and interpretability. Leveraging reinforcement learning and data augmentation, REARANK achieves substantial improvements over baseline models across popular information retrieval benchmarks, notably requiring only 179 annotated samples. Built on top of Qwen2.5-7B, our REARANK-7B demonstrates performance comparable to GPT-4 on both in-domain and out-of-domain benchmarks and even surpasses GPT-4 on reasoning-intensive BRIGHT benchmarks. These results underscore the effectiveness of our approach and highlight how reinforcement learning can enhance LLM reasoning capabilities in reranking.