類似性だけでは不十分：多層的思考を備えた検索拡張生成

Similarity is Not All You Need: Endowing Retrieval Augmented Generation with Multi Layered Thoughts

May 30, 2024

著者: Chunjing Gan, Dan Yang, Binbin Hu, Hanxiao Zhang, Siyuan Li, Ziqi Liu, Yue Shen, Lin Ju, Zhiqiang Zhang, Jinjie Gu, Lei Liang, Jun Zhou

cs.AI

要旨

近年、大規模言語モデル（LLM）は様々な領域で顕著な成果を上げてきた。しかし、知識更新の遅延やコスト、そしてLLMの幻覚問題が、知識集約型タスクにおけるその応用を制限しており、そこで検索拡張生成（RAG）が役立つ可能性がある。とはいえ、既存の検索拡張モデルは通常、クエリとドキュメントの間の橋渡しとして類似性を用い、検索後に読むという手順を踏む。本研究では、類似性が常に万能薬ではなく、類似性に完全に依存することが時として検索拡張生成の性能を低下させることを主張する。この目的のために、我々はMetRagという、多層思考を強化した検索拡張生成フレームワークを提案する。まず、既存の類似性指向の思考を超えて、LLMからの監督を利用した小規模な有用性モデルを取り入れ、有用性指向の思考を導入し、さらに類似性と有用性指向の思考を包括的に組み合わせることで、よりスマートなモデルを構築する。さらに、検索されたドキュメントセットが膨大になり、それらを個別に使用することが共通点や特徴を捉えることを困難にするという事実を踏まえ、LLMをタスク適応型の要約器として活用し、検索拡張生成にコンパクトネス指向の思考を付与することを提案する。最後に、前段階からの多層思考を踏まえ、LLMを呼び出して知識拡張生成を行う。知識集約型タスクにおける広範な実験により、MetRagの優位性が実証された。

English

In recent years, large language models (LLMs) have made remarkable achievements in various domains. However, the untimeliness and cost of knowledge updates coupled with hallucination issues of LLMs have curtailed their applications in knowledge intensive tasks, where retrieval augmented generation (RAG) can be of help. Nevertheless, existing retrieval augmented models typically use similarity as a bridge between queries and documents and follow a retrieve then read procedure. In this work, we argue that similarity is not always the panacea and totally relying on similarity would sometimes degrade the performance of retrieval augmented generation. To this end, we propose MetRag, a Multi layEred Thoughts enhanced Retrieval Augmented Generation framework. To begin with, beyond existing similarity oriented thought, we embrace a small scale utility model that draws supervision from an LLM for utility oriented thought and further come up with a smarter model by comprehensively combining the similarity and utility oriented thoughts. Furthermore, given the fact that the retrieved document set tends to be huge and using them in isolation makes it difficult to capture the commonalities and characteristics among them, we propose to make an LLM as a task adaptive summarizer to endow retrieval augmented generation with compactness-oriented thought. Finally, with multi layered thoughts from the precedent stages, an LLM is called for knowledge augmented generation. Extensive experiments on knowledge-intensive tasks have demonstrated the superiority of MetRag.