Misurare e potenziare l'affidabilità dei LLM in RAG attraverso Attribuzioni Fondamentali e Apprendimento per Rifiutare

Measuring and Enhancing Trustworthiness of LLMs in RAG through Grounded Attributions and Learning to Refuse

September 17, 2024

Autori: Maojia Song, Shang Hong Sim, Rishabh Bhardwaj, Hai Leong Chieu, Navonil Majumder, Soujanya Poria

cs.AI

Abstract

Gli LLM sono una parte integrante dei sistemi di generazione potenziati dalla ricerca (RAG). Mentre molti studi si concentrano sull'valutazione della qualità dei sistemi RAG end-to-end, c'è una mancanza di ricerca sull'comprensione dell'appropriatezza di un LLM per il compito RAG. Pertanto, introduciamo una nuova metrica, Trust-Score, che fornisce una valutazione olistica dell'affidabilità degli LLM in un contesto RAG. Dimostriamo che vari metodi di sollecitazione, come l'apprendimento in contesto, non riescono ad adattare gli LLM in modo efficace al compito RAG. Pertanto, proponiamo Trust-Align, un framework per allineare LLM per un Trust-Score più elevato. LLaMA-3-8b, allineato con il nostro metodo, supera significativamente gli LLM open-source di dimensioni comparabili su ASQA (fino al 10,7), QAMPARI (fino al 29,2) e ELI5 (fino al 14,9). Rilasciamo il nostro codice su: https://github.com/declare-lab/trust-align.

English

LLMs are an integral part of retrieval-augmented generation (RAG) systems. While many studies focus on evaluating the quality of end-to-end RAG systems, there is a lack of research on understanding the appropriateness of an LLM for the RAG task. Thus, we introduce a new metric, Trust-Score, that provides a holistic evaluation of the trustworthiness of LLMs in an RAG framework. We show that various prompting methods, such as in-context learning, fail to adapt LLMs effectively to the RAG task. Thus, we propose Trust-Align, a framework to align LLMs for higher Trust-Score. LLaMA-3-8b, aligned with our method, significantly outperforms open-source LLMs of comparable sizes on ASQA (up 10.7), QAMPARI (up 29.2) and ELI5 (up 14.9). We release our code at: https://github.com/declare-lab/trust-align.