Rank-without-GPT: Construindo Rerankers Listwise Independentes de GPT em Modelos de Linguagem de Grande Escala de Código Aberto

Rank-without-GPT: Building GPT-Independent Listwise Rerankers on Open-Source Large Language Models

December 5, 2023

Autores: Xinyu Zhang, Sebastian Hofstätter, Patrick Lewis, Raphael Tang, Jimmy Lin

cs.AI

Resumo

Reordenadores listwise baseados em grandes modelos de linguagem (LLM) são o estado da arte em zero-shot. No entanto, os trabalhos atuais nessa direção dependem todos dos modelos GPT, tornando-os um ponto único de falha na reprodutibilidade científica. Além disso, isso levanta a preocupação de que as descobertas atuais da pesquisa sejam válidas apenas para modelos GPT, mas não para LLMs em geral. Neste trabalho, eliminamos essa pré-condição e construímos, pela primeira vez, reordenadores listwise eficazes sem qualquer forma de dependência do GPT. Nossos experimentos de recuperação de passagens mostram que nosso melhor reordenador listwise supera os reordenadores listwise baseados no GPT-3.5 em 13% e alcança 97% da eficácia daqueles construídos no GPT-4. Nossos resultados também mostram que os conjuntos de dados de treinamento existentes, que foram explicitamente construídos para classificação pointwise, são insuficientes para a construção de tais reordenadores listwise. Em vez disso, dados de classificação listwise de alta qualidade são necessários e cruciais, exigindo mais trabalhos na construção de recursos de dados listwise anotados por humanos.

English

Listwise rerankers based on large language models (LLM) are the zero-shot state-of-the-art. However, current works in this direction all depend on the GPT models, making it a single point of failure in scientific reproducibility. Moreover, it raises the concern that the current research findings only hold for GPT models but not LLM in general. In this work, we lift this pre-condition and build for the first time effective listwise rerankers without any form of dependency on GPT. Our passage retrieval experiments show that our best list se reranker surpasses the listwise rerankers based on GPT-3.5 by 13% and achieves 97% effectiveness of the ones built on GPT-4. Our results also show that the existing training datasets, which were expressly constructed for pointwise ranking, are insufficient for building such listwise rerankers. Instead, high-quality listwise ranking data is required and crucial, calling for further work on building human-annotated listwise data resources.