Modelinterne Antwoordtoekenning voor Betrouwbare Ophaal-versterkte Generatie

Model Internals-based Answer Attribution for Trustworthy Retrieval-Augmented Generation

June 19, 2024

Auteurs: Jirui Qi, Gabriele Sarti, Raquel Fernández, Arianna Bisazza

cs.AI

Samenvatting

Het waarborgen van de verifieerbaarheid van modelantwoorden is een fundamentele uitdaging voor retrieval-augmented generation (RAG) in het domein van vraag-antwoord (QA). Onlangs werd self-citation prompting voorgesteld om grote taalmodellen (LLMs) citaties naar ondersteunende documenten te laten genereren samen met hun antwoorden. Self-citerende LLMs hebben echter vaak moeite om het vereiste formaat aan te houden, verwijzen naar niet-bestaande bronnen en slagen er niet in om het gebruik van de context door LLMs gedurende de generatie nauwkeurig weer te geven. In dit werk presenteren we MIRAGE -- Model Internals-based RAG Explanations -- een plug-and-play benadering die gebruikmaakt van modelinterne informatie voor betrouwbare antwoordtoeschrijving in RAG-toepassingen. MIRAGE detecteert contextgevoelige antwoordtokens en koppelt deze aan opgehaalde documenten die bijdragen aan hun voorspelling via saliency-methoden. We evalueren onze voorgestelde aanpak op een meertalige extractieve QA-dataset en vinden een hoge overeenstemming met menselijke antwoordtoeschrijving. Bij open-einde QA bereikt MIRAGE een citatiekwaliteit en efficiëntie die vergelijkbaar is met self-citation, terwijl het ook een fijnmazigere controle van toeschrijvingsparameters mogelijk maakt. Onze kwalitatieve evaluatie benadrukt de betrouwbaarheid van MIRAGE's toeschrijvingen en onderstreept de veelbelovende toepassing van modelinterne informatie voor RAG-antwoordtoeschrijving.

English

Ensuring the verifiability of model answers is a fundamental challenge for retrieval-augmented generation (RAG) in the question answering (QA) domain. Recently, self-citation prompting was proposed to make large language models (LLMs) generate citations to supporting documents along with their answers. However, self-citing LLMs often struggle to match the required format, refer to non-existent sources, and fail to faithfully reflect LLMs' context usage throughout the generation. In this work, we present MIRAGE --Model Internals-based RAG Explanations -- a plug-and-play approach using model internals for faithful answer attribution in RAG applications. MIRAGE detects context-sensitive answer tokens and pairs them with retrieved documents contributing to their prediction via saliency methods. We evaluate our proposed approach on a multilingual extractive QA dataset, finding high agreement with human answer attribution. On open-ended QA, MIRAGE achieves citation quality and efficiency comparable to self-citation while also allowing for a finer-grained control of attribution parameters. Our qualitative evaluation highlights the faithfulness of MIRAGE's attributions and underscores the promising application of model internals for RAG answer attribution.