Rerankeur axé sur les requêtes et conscient de la mémoire pour le traitement de contextes longs
Query-focused and Memory-aware Reranker for Long Context Processing
February 12, 2026
Auteurs: Yuqing Li, Jiangnan Li, Mo Yu, Guoxuan Ding, Zheng Lin, Weiping Wang, Jie Zhou
cs.AI
Résumé
Fondée sur l'analyse existante des têtes d'attention de récupération dans les grands modèles de langage, nous proposons un cadre alternatif de reranking qui entraîne des modèles à estimer la pertinence passage-requête en utilisant les scores d'attention de têtes sélectionnées. Cette approche fournit une solution listwise qui exploite l'information holistique au sein de la liste restreinte entière de candidats pendant le classement. Simultanément, elle produit naturellement des scores de pertinence continus, permettant un entraînement sur des jeux de données de récupération arbitraires sans nécessiter de supervision par échelle de Likert. Notre cadre est léger et efficace, ne nécessitant que des modèles à petite échelle (par exemple, 4 milliards de paramètres) pour atteindre de solides performances. Des expériences approfondies démontrent que notre méthode surpasse les rerankeurs pointwise et listwise état de l'art existants dans de multiples domaines, incluant Wikipédia et des jeux de données narratifs longs. Elle établit en outre un nouvel état de l'art sur le benchmark LoCoMo qui évalue les capacités de compréhension du dialogue et d'utilisation de la mémoire. Nous démontrons en outre que notre cadre supporte des extensions flexibles. Par exemple, l'augmentation des passages candidats avec des informations contextuelles améliore encore la précision du classement, tandis que l'entraînement de têtes d'attention provenant de couches intermédiaires améliore l'efficacité sans sacrifier les performances.
English
Built upon the existing analysis of retrieval heads in large language models, we propose an alternative reranking framework that trains models to estimate passage-query relevance using the attention scores of selected heads. This approach provides a listwise solution that leverages holistic information within the entire candidate shortlist during ranking. At the same time, it naturally produces continuous relevance scores, enabling training on arbitrary retrieval datasets without requiring Likert-scale supervision. Our framework is lightweight and effective, requiring only small-scale models (e.g., 4B parameters) to achieve strong performance. Extensive experiments demonstrate that our method outperforms existing state-of-the-art pointwise and listwise rerankers across multiple domains, including Wikipedia and long narrative datasets. It further establishes a new state-of-the-art on the LoCoMo benchmark that assesses the capabilities of dialogue understanding and memory usage. We further demonstrate that our framework supports flexible extensions. For example, augmenting candidate passages with contextual information further improves ranking accuracy, while training attention heads from middle layers enhances efficiency without sacrificing performance.