История доверия и точности: Базовые против Инструктивных LLM в системах RAG

A Tale of Trust and Accuracy: Base vs. Instruct LLMs in RAG Systems

June 21, 2024

Авторы: Florin Cuconasu, Giovanni Trappolini, Nicola Tonellotto, Fabrizio Silvestri

cs.AI

Аннотация

Метод "Получение с усилением Генерации" (RAG) представляет собой значительный прогресс в области искусственного интеллекта, объединяющий фазу получения с фазой генерации, причем последняя обычно осуществляется с использованием больших языковых моделей (LLM). Текущие общепринятые практики в RAG включают использование "инструктированных" LLM, которые проходят дообучение с учителем для улучшения их способности следовать инструкциям и выравниваются с предпочтениями людей с использованием передовых техник. Вопреки распространенному мнению, наше исследование показывает, что базовые модели превосходят своих инструктированных аналогов в задачах RAG в среднем на 20% в рамках наших экспериментальных условий. Это открытие вызывает сомнения в доминировании инструктированных LLM в приложениях RAG. Дальнейшие исследования раскрывают более тонкую ситуацию, ставят под сомнение фундаментальные аспекты RAG и предполагают необходимость более широких обсуждений на эту тему; или, как выразился бы Фромм, "Редко бывает достаточно простого взгляда на статистику для понимания значения цифр".

English

Retrieval Augmented Generation (RAG) represents a significant advancement in artificial intelligence combining a retrieval phase with a generative phase, with the latter typically being powered by large language models (LLMs). The current common practices in RAG involve using "instructed" LLMs, which are fine-tuned with supervised training to enhance their ability to follow instructions and are aligned with human preferences using state-of-the-art techniques. Contrary to popular belief, our study demonstrates that base models outperform their instructed counterparts in RAG tasks by 20% on average under our experimental settings. This finding challenges the prevailing assumptions about the superiority of instructed LLMs in RAG applications. Further investigations reveal a more nuanced situation, questioning fundamental aspects of RAG and suggesting the need for broader discussions on the topic; or, as Fromm would have it, "Seldom is a glance at the statistics enough to understand the meaning of the figures".