Wanneer te Spreken, Wanneer te Onthouden: Contrastieve Decodering met Onthouding

When to Speak, When to Abstain: Contrastive Decoding with Abstention

December 17, 2024

Auteurs: Hyuhng Joon Kim, Youna Kim, Sang-goo Lee, Taeuk Kim

cs.AI

Samenvatting

Grote Taalmodellen (LLM's) tonen uitzonderlijke prestaties op diverse taken door zowel gebruik te maken van vooraf getrainde kennis (d.w.z. parametrische kennis) als externe kennis (d.w.z. contextuele kennis). Hoewel er aanzienlijke inspanningen zijn geleverd om beide vormen van kennis te benutten, blijven scenario's waarin het model geen relevante kennis heeft grotendeels onverkend. Dergelijke beperkingen kunnen leiden tot problemen zoals hallucinatie, wat kan resulteren in verminderde betrouwbaarheid en potentiële risico's in toepassingen met hoge inzet. Om dergelijke beperkingen aan te pakken, breidt dit artikel de taakomvang uit om gevallen te omvatten waarin het verzoek van de gebruiker niet kan worden ingewilligd vanwege het ontbreken van relevante kennis. Hiertoe introduceren we Contrastieve Decodering met Onthouding (CDA), een decoderingsmethode zonder training die LLM's in staat stelt om reacties te genereren wanneer relevante kennis beschikbaar is en zich anders te onthouden. CDA evalueert de relevantie van elke kennis voor een gegeven query, waarbij adaptief wordt bepaald welke kennis prioriteit heeft of volledig genegeerd moet worden. Uitgebreide experimenten met vier LLM's op drie vraag-antwoorddatasets tonen aan dat CDA effectief nauwkeurige generatie en onthouding tegelijkertijd kan uitvoeren. Deze bevindingen benadrukken het potentieel van CDA om de toepasbaarheid van LLM's te verbreden, de betrouwbaarheid te verbeteren en het vertrouwen van de gebruiker te behouden.

English

Large Language Models (LLMs) demonstrate exceptional performance across diverse tasks by leveraging both pre-trained knowledge (i.e., parametric knowledge) and external knowledge (i.e., contextual knowledge). While substantial efforts have been made to leverage both forms of knowledge, scenarios in which the model lacks any relevant knowledge remain underexplored. Such limitations can result in issues like hallucination, causing reduced reliability and potential risks in high-stakes applications. To address such limitations, this paper extends the task scope to encompass cases where the user's request cannot be fulfilled due to the lack of relevant knowledge. To this end, we introduce Contrastive Decoding with Abstention (CDA), a training-free decoding method that empowers LLMs to generate responses when relevant knowledge is available and to abstain otherwise. CDA evaluates the relevance of each knowledge for a given query, adaptively determining which knowledge to prioritize or which to completely ignore. Extensive experiments with four LLMs on three question-answering datasets demonstrate that CDA can effectively perform accurate generation and abstention simultaneously. These findings highlight CDA's potential to broaden the applicability of LLMs, enhancing reliability and preserving user trust.