Когда говорить, когда воздерживаться: контрастный декодинг с воздержанием

When to Speak, When to Abstain: Contrastive Decoding with Abstention

December 17, 2024

Авторы: Hyuhng Joon Kim, Youna Kim, Sang-goo Lee, Taeuk Kim

cs.AI

Аннотация

Большие языковые модели (LLM) демонстрируют исключительную производительность в различных задачах, используя как заранее обученные знания (т.е. параметрические знания), так и внешние знания (т.е. контекстуальные знания). Несмотря на значительные усилия по использованию обеих форм знаний, сценарии, в которых модель не располагает необходимыми знаниями, остаются недостаточно исследованными. Такие ограничения могут привести к проблемам, таким как галлюцинации, вызывая снижение надежности и потенциальные риски в приложениях с высокими ставками. Для решения таких ограничений настоящая статья расширяет область задач, чтобы охватить случаи, когда запрос пользователя не может быть выполнен из-за отсутствия соответствующих знаний. В этом контексте мы представляем метод контрастного декодирования с воздержанием (CDA), метод декодирования без обучения, который позволяет LLM генерировать ответы, когда имеются соответствующие знания, и воздерживаться в противном случае. CDA оценивает релевантность каждого знания для данного запроса, адаптивно определяя, какие знания приоритетны, а какие следует полностью игнорировать. Обширные эксперименты с четырьмя LLM на трех наборах данных вопросов и ответов показывают, что CDA может эффективно выполнять точную генерацию и воздержание одновременно. Эти результаты подчеркивают потенциал CDA для расширения применимости LLM, улучшая надежность и сохраняя доверие пользователя.

English

Large Language Models (LLMs) demonstrate exceptional performance across diverse tasks by leveraging both pre-trained knowledge (i.e., parametric knowledge) and external knowledge (i.e., contextual knowledge). While substantial efforts have been made to leverage both forms of knowledge, scenarios in which the model lacks any relevant knowledge remain underexplored. Such limitations can result in issues like hallucination, causing reduced reliability and potential risks in high-stakes applications. To address such limitations, this paper extends the task scope to encompass cases where the user's request cannot be fulfilled due to the lack of relevant knowledge. To this end, we introduce Contrastive Decoding with Abstention (CDA), a training-free decoding method that empowers LLMs to generate responses when relevant knowledge is available and to abstain otherwise. CDA evaluates the relevance of each knowledge for a given query, adaptively determining which knowledge to prioritize or which to completely ignore. Extensive experiments with four LLMs on three question-answering datasets demonstrate that CDA can effectively perform accurate generation and abstention simultaneously. These findings highlight CDA's potential to broaden the applicability of LLMs, enhancing reliability and preserving user trust.