Подобие не является всем, что вам нужно: наделяя Генерацию с увеличенным поиском многократными слоями мыслей

Similarity is Not All You Need: Endowing Retrieval Augmented Generation with Multi Layered Thoughts

May 30, 2024

Авторы: Chunjing Gan, Dan Yang, Binbin Hu, Hanxiao Zhang, Siyuan Li, Ziqi Liu, Yue Shen, Lin Ju, Zhiqiang Zhang, Jinjie Gu, Lei Liang, Jun Zhou

cs.AI

Аннотация

В последние годы большие языковые модели (LLM) достигли значительных успехов в различных областях. Однако неактуальность и стоимость обновлений знаний, а также проблемы галлюцинаций у LLM ограничили их применение в задачах, требующих большого объема знаний, где может пригодиться поиск с увеличением генерации (RAG). Тем не менее существующие модели с увеличением поиска обычно используют сходство в качестве связи между запросами и документами и следуют процедуре извлечения, а затем чтения. В данной работе мы утверждаем, что сходство не всегда является панацеей, и полное полагание на сходство иногда может снизить производительность поиска с увеличением генерации. Для этого мы предлагаем MetRag, многоуровневую модель с улучшенным мышлением для поиска с увеличением генерации. Во-первых, помимо существующего сходство-ориентированного мышления, мы принимаем модель малого масштаба, которая получает наблюдения от LLM для мышления, ориентированного на полезность, и затем создаем более интеллектуальную модель, комбинируя сходство и мышление, ориентированное на полезность. Кроме того, учитывая тот факт, что полученный набор документов обычно огромен, и использование их в изоляции затрудняет выявление общих черт и характеристик среди них, мы предлагаем использовать LLM в качестве адаптивного краткого извлекателя для придания поиску с увеличением генерации мышления, ориентированного на компактность. Наконец, с многоуровневым мышлением из предшествующих этапов, LLM вызывается для генерации знаний с увеличением. Обширные эксперименты в задачах, требующих большого объема знаний, продемонстрировали превосходство MetRag.

English

In recent years, large language models (LLMs) have made remarkable achievements in various domains. However, the untimeliness and cost of knowledge updates coupled with hallucination issues of LLMs have curtailed their applications in knowledge intensive tasks, where retrieval augmented generation (RAG) can be of help. Nevertheless, existing retrieval augmented models typically use similarity as a bridge between queries and documents and follow a retrieve then read procedure. In this work, we argue that similarity is not always the panacea and totally relying on similarity would sometimes degrade the performance of retrieval augmented generation. To this end, we propose MetRag, a Multi layEred Thoughts enhanced Retrieval Augmented Generation framework. To begin with, beyond existing similarity oriented thought, we embrace a small scale utility model that draws supervision from an LLM for utility oriented thought and further come up with a smarter model by comprehensively combining the similarity and utility oriented thoughts. Furthermore, given the fact that the retrieved document set tends to be huge and using them in isolation makes it difficult to capture the commonalities and characteristics among them, we propose to make an LLM as a task adaptive summarizer to endow retrieval augmented generation with compactness-oriented thought. Finally, with multi layered thoughts from the precedent stages, an LLM is called for knowledge augmented generation. Extensive experiments on knowledge-intensive tasks have demonstrated the superiority of MetRag.