Query-gefocuste en geheugenbewuste herrangschikker voor langecontextverwerking
Query-focused and Memory-aware Reranker for Long Context Processing
February 12, 2026
Auteurs: Yuqing Li, Jiangnan Li, Mo Yu, Guoxuan Ding, Zheng Lin, Weiping Wang, Jie Zhou
cs.AI
Samenvatting
Gebaseerd op de bestaande analyse van retrieval heads in grote taalmodellen, stellen we een alternatief herrangkader voor dat modellen traint om de relevantie van passage-query's in te schatten met behulp van de aandachtsscores van geselecteerde heads. Deze aanpak biedt een listwise-oplossing die gebruikmaakt van holistische informatie binnen de gehele kandidaat-shortlist tijdens het rangschikken. Tegelijkertijd produceert het op natuurlijke wijze continue relevantiescores, waardoor training op willekeurige retrievadata mogelijk is zonder toezicht van Likert-schalen. Ons kader is lichtgewicht en effectief; er zijn slechts kleinschalige modellen (bijv. 4B parameters) nodig om sterke prestaties te behalen. Uitgebreide experimenten tonen aan dat onze methode de bestaande state-of-the-art pointwise- en listwise-herrankers overtreft in meerdere domeinen, waaronder Wikipedia en lange narratieve datasets. Het vestigt verder een nieuwe state-of-the-art op de LoCoMo-benchmark, die de capaciteiten voor dialoogbegrip en geheugengebruik beoordeelt. We tonen verder aan dat ons kader flexibele uitbreidingen ondersteunt. Zo verbetert het verrijken van kandidaatpassages met contextuele informatie de rangschikkingsnauwkeurigheid verder, terwijl het trainen van aandacht heads uit middelste lagen de efficiëntie verhoogt zonder in te leveren op prestaties.
English
Built upon the existing analysis of retrieval heads in large language models, we propose an alternative reranking framework that trains models to estimate passage-query relevance using the attention scores of selected heads. This approach provides a listwise solution that leverages holistic information within the entire candidate shortlist during ranking. At the same time, it naturally produces continuous relevance scores, enabling training on arbitrary retrieval datasets without requiring Likert-scale supervision. Our framework is lightweight and effective, requiring only small-scale models (e.g., 4B parameters) to achieve strong performance. Extensive experiments demonstrate that our method outperforms existing state-of-the-art pointwise and listwise rerankers across multiple domains, including Wikipedia and long narrative datasets. It further establishes a new state-of-the-art on the LoCoMo benchmark that assesses the capabilities of dialogue understanding and memory usage. We further demonstrate that our framework supports flexible extensions. For example, augmenting candidate passages with contextual information further improves ranking accuracy, while training attention heads from middle layers enhances efficiency without sacrificing performance.