Rank-without-GPT: Создание независимых от GPT ранжирующих моделей с использованием открытых крупных языковых моделей

Rank-without-GPT: Building GPT-Independent Listwise Rerankers on Open-Source Large Language Models

December 5, 2023

Авторы: Xinyu Zhang, Sebastian Hofstätter, Patrick Lewis, Raphael Tang, Jimmy Lin

cs.AI

Аннотация

Модели для переранжирования списков, основанные на крупных языковых моделях (LLM), являются современным решением в режиме zero-shot. Однако текущие работы в этом направлении полностью зависят от моделей GPT, что создает единую точку отказа для научной воспроизводимости. Более того, это вызывает опасения, что текущие исследовательские результаты справедливы только для моделей GPT, но не для LLM в целом. В данной работе мы устраняем это предварительное условие и впервые создаем эффективные модели для переранжирования списков без какой-либо зависимости от GPT. Наши эксперименты с извлечением текстовых фрагментов показывают, что наша лучшая модель для переранжирования списков превосходит аналогичные модели, основанные на GPT-3.5, на 13% и достигает 97% эффективности моделей, построенных на GPT-4. Наши результаты также демонстрируют, что существующие наборы данных для обучения, которые были специально созданы для поточечного ранжирования, недостаточны для построения таких моделей переранжирования списков. Вместо этого необходимы и критически важны высококачественные данные для ранжирования списков, что требует дальнейшей работы по созданию аннотированных человеком ресурсов для спискового ранжирования.

English

Listwise rerankers based on large language models (LLM) are the zero-shot state-of-the-art. However, current works in this direction all depend on the GPT models, making it a single point of failure in scientific reproducibility. Moreover, it raises the concern that the current research findings only hold for GPT models but not LLM in general. In this work, we lift this pre-condition and build for the first time effective listwise rerankers without any form of dependency on GPT. Our passage retrieval experiments show that our best list se reranker surpasses the listwise rerankers based on GPT-3.5 by 13% and achieves 97% effectiveness of the ones built on GPT-4. Our results also show that the existing training datasets, which were expressly constructed for pointwise ranking, are insufficient for building such listwise rerankers. Instead, high-quality listwise ranking data is required and crucial, calling for further work on building human-annotated listwise data resources.