Medindo e Aprimorando a Confiabilidade de LLMs em RAG por meio de Atribuições Fundamentadas e Aprendizado para Recusar

Measuring and Enhancing Trustworthiness of LLMs in RAG through Grounded Attributions and Learning to Refuse

September 17, 2024

Autores: Maojia Song, Shang Hong Sim, Rishabh Bhardwaj, Hai Leong Chieu, Navonil Majumder, Soujanya Poria

cs.AI

Resumo

LLMs são uma parte integral dos sistemas de geração aumentada por recuperação (RAG). Enquanto muitos estudos se concentram em avaliar a qualidade dos sistemas RAG de ponta a ponta, há uma falta de pesquisa na compreensão da adequação de um LLM para a tarefa RAG. Portanto, introduzimos uma nova métrica, Trust-Score, que fornece uma avaliação holística da confiabilidade dos LLMs em um framework RAG. Mostramos que vários métodos de solicitação, como aprendizado em contexto, falham em adaptar os LLMs de forma eficaz para a tarefa RAG. Assim, propomos o Trust-Align, um framework para alinhar os LLMs para um Trust-Score mais alto. LLaMA-3-8b, alinhado com nosso método, supera significativamente os LLMs de código aberto de tamanhos comparáveis no ASQA (aumento de 10,7), QAMPARI (aumento de 29,2) e ELI5 (aumento de 14,9). Disponibilizamos nosso código em: https://github.com/declare-lab/trust-align.

English

LLMs are an integral part of retrieval-augmented generation (RAG) systems. While many studies focus on evaluating the quality of end-to-end RAG systems, there is a lack of research on understanding the appropriateness of an LLM for the RAG task. Thus, we introduce a new metric, Trust-Score, that provides a holistic evaluation of the trustworthiness of LLMs in an RAG framework. We show that various prompting methods, such as in-context learning, fail to adapt LLMs effectively to the RAG task. Thus, we propose Trust-Align, a framework to align LLMs for higher Trust-Score. LLaMA-3-8b, aligned with our method, significantly outperforms open-source LLMs of comparable sizes on ASQA (up 10.7), QAMPARI (up 29.2) and ELI5 (up 14.9). We release our code at: https://github.com/declare-lab/trust-align.