Attribution des réponses basée sur les internes du modèle pour une génération augmentée par récupération fiable

Model Internals-based Answer Attribution for Trustworthy Retrieval-Augmented Generation

June 19, 2024

Auteurs: Jirui Qi, Gabriele Sarti, Raquel Fernández, Arianna Bisazza

cs.AI

Résumé

Assurer la vérifiabilité des réponses des modèles constitue un défi fondamental pour la génération augmentée par récupération (RAG) dans le domaine des systèmes de question-réponse (QA). Récemment, l'incitation à l'autocitation a été proposée pour amener les grands modèles de langage (LLM) à générer des citations vers des documents de soutien en plus de leurs réponses. Cependant, les LLM pratiquant l'autocitation ont souvent du mal à respecter le format requis, se réfèrent à des sources inexistantes et ne parviennent pas à refléter fidèlement l'utilisation du contexte par les LLM tout au long de la génération. Dans ce travail, nous présentons MIRAGE -- Model Internals-based RAG Explanations -- une approche plug-and-play utilisant les internes du modèle pour une attribution fidèle des réponses dans les applications RAG. MIRAGE détecte les tokens de réponse sensibles au contexte et les associe aux documents récupérés contribuant à leur prédiction via des méthodes de salience. Nous évaluons notre approche proposée sur un jeu de données multilingue de QA extractive, constatant un fort accord avec l'attribution humaine des réponses. Sur le QA ouvert, MIRAGE atteint une qualité et une efficacité de citation comparables à l'autocitation tout en permettant un contrôle plus fin des paramètres d'attribution. Notre évaluation qualitative met en lumière la fidélité des attributions de MIRAGE et souligne l'application prometteuse des internes de modèle pour l'attribution des réponses RAG.

English

Ensuring the verifiability of model answers is a fundamental challenge for retrieval-augmented generation (RAG) in the question answering (QA) domain. Recently, self-citation prompting was proposed to make large language models (LLMs) generate citations to supporting documents along with their answers. However, self-citing LLMs often struggle to match the required format, refer to non-existent sources, and fail to faithfully reflect LLMs' context usage throughout the generation. In this work, we present MIRAGE --Model Internals-based RAG Explanations -- a plug-and-play approach using model internals for faithful answer attribution in RAG applications. MIRAGE detects context-sensitive answer tokens and pairs them with retrieved documents contributing to their prediction via saliency methods. We evaluate our proposed approach on a multilingual extractive QA dataset, finding high agreement with human answer attribution. On open-ended QA, MIRAGE achieves citation quality and efficiency comparable to self-citation while also allowing for a finer-grained control of attribution parameters. Our qualitative evaluation highlights the faithfulness of MIRAGE's attributions and underscores the promising application of model internals for RAG answer attribution.