Quand parler, quand s'abstenir : Décodage contrastif avec abstention

When to Speak, When to Abstain: Contrastive Decoding with Abstention

December 17, 2024

Auteurs: Hyuhng Joon Kim, Youna Kim, Sang-goo Lee, Taeuk Kim

cs.AI

Résumé

Les grands modèles de langage (LLM) démontrent des performances exceptionnelles dans diverses tâches en exploitant à la fois les connaissances pré-entraînées (c'est-à-dire, les connaissances paramétriques) et les connaissances externes (c'est-à-dire, les connaissances contextuelles). Alors que des efforts considérables ont été déployés pour exploiter ces deux formes de connaissances, les scénarios dans lesquels le modèle manque de connaissances pertinentes restent peu explorés. De telles limitations peuvent entraîner des problèmes tels que des hallucinations, entraînant une fiabilité réduite et des risques potentiels dans des applications à enjeux élevés. Pour remédier à ces limitations, cet article élargit le champ d'application de la tâche pour englober les cas où la demande de l'utilisateur ne peut être satisfaite en raison du manque de connaissances pertinentes. À cette fin, nous introduisons le Décodage Contrastif avec Abstention (CDA), une méthode de décodage sans entraînement qui permet aux LLM de générer des réponses lorsque des connaissances pertinentes sont disponibles et de s'abstenir sinon. Le CDA évalue la pertinence de chaque connaissance pour une requête donnée, déterminant de manière adaptative quelles connaissances privilégier ou ignorer complètement. Des expériences approfondies avec quatre LLM sur trois ensembles de données de questions-réponses démontrent que le CDA peut effectivement réaliser une génération précise et une abstention simultanément. Ces résultats mettent en lumière le potentiel du CDA à élargir l'applicabilité des LLM, améliorant la fiabilité et préservant la confiance de l'utilisateur.

English

Large Language Models (LLMs) demonstrate exceptional performance across diverse tasks by leveraging both pre-trained knowledge (i.e., parametric knowledge) and external knowledge (i.e., contextual knowledge). While substantial efforts have been made to leverage both forms of knowledge, scenarios in which the model lacks any relevant knowledge remain underexplored. Such limitations can result in issues like hallucination, causing reduced reliability and potential risks in high-stakes applications. To address such limitations, this paper extends the task scope to encompass cases where the user's request cannot be fulfilled due to the lack of relevant knowledge. To this end, we introduce Contrastive Decoding with Abstention (CDA), a training-free decoding method that empowers LLMs to generate responses when relevant knowledge is available and to abstain otherwise. CDA evaluates the relevance of each knowledge for a given query, adaptively determining which knowledge to prioritize or which to completely ignore. Extensive experiments with four LLMs on three question-answering datasets demonstrate that CDA can effectively perform accurate generation and abstention simultaneously. These findings highlight CDA's potential to broaden the applicability of LLMs, enhancing reliability and preserving user trust.