Medición y Mejora de la Confianza de los LLM en RAG a través de Atribuciones Fundamentadas y Aprendizaje para Rechazar

Measuring and Enhancing Trustworthiness of LLMs in RAG through Grounded Attributions and Learning to Refuse

September 17, 2024

Autores: Maojia Song, Shang Hong Sim, Rishabh Bhardwaj, Hai Leong Chieu, Navonil Majumder, Soujanya Poria

cs.AI

Resumen

Los LLMs son una parte integral de los sistemas de generación aumentada por recuperación (RAG). Mientras que muchos estudios se centran en evaluar la calidad de los sistemas RAG de extremo a extremo, hay una falta de investigación sobre la comprensión de la adecuación de un LLM para la tarea RAG. Por lo tanto, presentamos una nueva métrica, Puntuación de Confianza, que proporciona una evaluación holística de la confiabilidad de los LLMs en un marco RAG. Mostramos que varios métodos de estimulación, como el aprendizaje en contexto, no logran adaptar los LLMs de manera efectiva a la tarea RAG. Por lo tanto, proponemos Trust-Align, un marco para alinear los LLMs para obtener una Puntuación de Confianza más alta. LLaMA-3-8b, alineado con nuestro método, supera significativamente a los LLMs de código abierto de tamaños comparables en ASQA (hasta 10.7), QAMPARI (hasta 29.2) y ELI5 (hasta 14.9). Publicamos nuestro código en: https://github.com/declare-lab/trust-align.

English

LLMs are an integral part of retrieval-augmented generation (RAG) systems. While many studies focus on evaluating the quality of end-to-end RAG systems, there is a lack of research on understanding the appropriateness of an LLM for the RAG task. Thus, we introduce a new metric, Trust-Score, that provides a holistic evaluation of the trustworthiness of LLMs in an RAG framework. We show that various prompting methods, such as in-context learning, fail to adapt LLMs effectively to the RAG task. Thus, we propose Trust-Align, a framework to align LLMs for higher Trust-Score. LLaMA-3-8b, aligned with our method, significantly outperforms open-source LLMs of comparable sizes on ASQA (up 10.7), QAMPARI (up 29.2) and ELI5 (up 14.9). We release our code at: https://github.com/declare-lab/trust-align.