RAGにおけるLLMsの信頼性の測定と向上において、グラウンデッド属性と拒否学習を通じた手法

Measuring and Enhancing Trustworthiness of LLMs in RAG through Grounded Attributions and Learning to Refuse

September 17, 2024

著者: Maojia Song, Shang Hong Sim, Rishabh Bhardwaj, Hai Leong Chieu, Navonil Majumder, Soujanya Poria

cs.AI

要旨

LLM（Large Language Models）は、検索拡張生成（RAG）システムにおける重要な要素です。 多くの研究がエンドツーエンドのRAGシステムの品質を評価することに焦点を当てていますが、 LLMがRAGタスクに適しているかどうかを理解する研究が不足しています。そこで、私たちはRAGフレームワークにおけるLLMの信頼性を包括的に評価する新しいメトリック、Trust-Scoreを導入します。 私たちは、コンテキスト内学習などのさまざまなプロンプティング手法が、LLMをRAGタスクに効果的に適応させることに失敗することを示します。そのため、私たちはTrust-Alignという、LLMをより高いTrust-Scoreに整列させるためのフレームワークを提案します。 私たちの手法により整列されたLLaMA-3-8bは、ASQA（10.7ポイント向上）、QAMPARI（29.2ポイント向上）、ELI5（14.9ポイント向上）において、同等サイズのオープンソースのLLMを大幅に上回る性能を発揮します。 私たちは、当該コードを以下のURLから公開しています：https://github.com/declare-lab/trust-align.

English

LLMs are an integral part of retrieval-augmented generation (RAG) systems. While many studies focus on evaluating the quality of end-to-end RAG systems, there is a lack of research on understanding the appropriateness of an LLM for the RAG task. Thus, we introduce a new metric, Trust-Score, that provides a holistic evaluation of the trustworthiness of LLMs in an RAG framework. We show that various prompting methods, such as in-context learning, fail to adapt LLMs effectively to the RAG task. Thus, we propose Trust-Align, a framework to align LLMs for higher Trust-Score. LLaMA-3-8b, aligned with our method, significantly outperforms open-source LLMs of comparable sizes on ASQA (up 10.7), QAMPARI (up 29.2) and ELI5 (up 14.9). We release our code at: https://github.com/declare-lab/trust-align.