Rank-without-GPT : Construction de réorganisateurs listwise indépendants de GPT sur des modèles de langage à grande échelle open-source

Rank-without-GPT: Building GPT-Independent Listwise Rerankers on Open-Source Large Language Models

December 5, 2023

papers.authors: Xinyu Zhang, Sebastian Hofstätter, Patrick Lewis, Raphael Tang, Jimmy Lin

cs.AI

papers.abstract

Les réorganisateurs listwise basés sur des modèles de langage de grande taille (LLM) représentent l'état de l'art en approche zero-shot. Cependant, les travaux actuels dans cette direction dépendent tous des modèles GPT, ce qui en fait un point de défaillance unique pour la reproductibilité scientifique. De plus, cela soulève la préoccupation que les résultats de recherche actuels ne s'appliquent qu'aux modèles GPT et non aux LLM en général. Dans ce travail, nous levons cette précondition et construisons pour la première fois des réorganisateurs listwise efficaces sans aucune forme de dépendance envers GPT. Nos expériences de recherche de passages montrent que notre meilleur réorganisateur listwise surpasse ceux basés sur GPT-3.5 de 13 % et atteint 97 % de l'efficacité de ceux construits sur GPT-4. Nos résultats montrent également que les ensembles de données d'entraînement existants, qui ont été expressément conçus pour le classement pointwise, sont insuffisants pour construire de tels réorganisateurs listwise. À la place, des données de classement listwise de haute qualité sont nécessaires et cruciales, appelant à des travaux supplémentaires pour construire des ressources de données listwise annotées par des humains.

English

Listwise rerankers based on large language models (LLM) are the zero-shot state-of-the-art. However, current works in this direction all depend on the GPT models, making it a single point of failure in scientific reproducibility. Moreover, it raises the concern that the current research findings only hold for GPT models but not LLM in general. In this work, we lift this pre-condition and build for the first time effective listwise rerankers without any form of dependency on GPT. Our passage retrieval experiments show that our best list se reranker surpasses the listwise rerankers based on GPT-3.5 by 13% and achieves 97% effectiveness of the ones built on GPT-4. Our results also show that the existing training datasets, which were expressly constructed for pointwise ranking, are insufficient for building such listwise rerankers. Instead, high-quality listwise ranking data is required and crucial, calling for further work on building human-annotated listwise data resources.