유사성만으로는 충분하지 않다: 다층적 사고를 갖춘 검색 증강 생성 모델 구현

Similarity is Not All You Need: Endowing Retrieval Augmented Generation with Multi Layered Thoughts

May 30, 2024

저자: Chunjing Gan, Dan Yang, Binbin Hu, Hanxiao Zhang, Siyuan Li, Ziqi Liu, Yue Shen, Lin Ju, Zhiqiang Zhang, Jinjie Gu, Lei Liang, Jun Zhou

cs.AI

초록

최근 몇 년 동안 대규모 언어 모델(LLM)은 다양한 분야에서 놀라운 성과를 거두었습니다. 그러나 지식 업데이트의 시의적절성 부족과 비용 문제, 그리고 LLM의 환각(hallucination) 문제는 지식 집약적 작업에서의 활용을 제한해 왔습니다. 이러한 문제에 대해 검색 증강 생성(Retrieval Augmented Generation, RAG)이 도움을 줄 수 있습니다. 그러나 기존의 검색 증강 모델은 일반적으로 유사성을 쿼리와 문서 간의 연결고리로 사용하며, 검색 후 읽기(retrieve then read) 절차를 따릅니다. 본 연구에서는 유사성이 항상 만병통치약이 아니며, 유사성에만 전적으로 의존할 경우 검색 증강 생성의 성능이 저하될 수 있다고 주장합니다. 이를 위해, 우리는 다층적 사고(Multi-layered Thoughts)를 강화한 검색 증강 생성 프레임워크인 MetRag를 제안합니다. 먼저, 기존의 유사성 중심 사고를 넘어, LLM으로부터 지도를 받는 소규모 유틸리티 모델을 도입하여 유틸리티 중심 사고를 구현하고, 이를 유사성 중심 사고와 종합적으로 결합하여 더 스마트한 모델을 구축합니다. 또한, 검색된 문서 집합이 크고 이를 개별적으로 사용할 경우 문서 간의 공통점과 특징을 파악하기 어렵다는 점을 고려하여, LLM을 작업 적응형 요약기(task adaptive summarizer)로 활용하여 검색 증강 생성에 간결성 중심 사고를 부여합니다. 마지막으로, 이전 단계에서 얻은 다층적 사고를 바탕으로 LLM을 호출하여 지식 증강 생성을 수행합니다. 지식 집약적 작업에 대한 광범위한 실험을 통해 MetRag의 우수성을 입증하였습니다.

English

In recent years, large language models (LLMs) have made remarkable achievements in various domains. However, the untimeliness and cost of knowledge updates coupled with hallucination issues of LLMs have curtailed their applications in knowledge intensive tasks, where retrieval augmented generation (RAG) can be of help. Nevertheless, existing retrieval augmented models typically use similarity as a bridge between queries and documents and follow a retrieve then read procedure. In this work, we argue that similarity is not always the panacea and totally relying on similarity would sometimes degrade the performance of retrieval augmented generation. To this end, we propose MetRag, a Multi layEred Thoughts enhanced Retrieval Augmented Generation framework. To begin with, beyond existing similarity oriented thought, we embrace a small scale utility model that draws supervision from an LLM for utility oriented thought and further come up with a smarter model by comprehensively combining the similarity and utility oriented thoughts. Furthermore, given the fact that the retrieved document set tends to be huge and using them in isolation makes it difficult to capture the commonalities and characteristics among them, we propose to make an LLM as a task adaptive summarizer to endow retrieval augmented generation with compactness-oriented thought. Finally, with multi layered thoughts from the precedent stages, an LLM is called for knowledge augmented generation. Extensive experiments on knowledge-intensive tasks have demonstrated the superiority of MetRag.