Фиктивные синтетические данные могут улучшить достоверность LLM через предварительное обучение.

Fictitious Synthetic Data Can Improve LLM Factuality via Prerequisite Learning

October 25, 2024

Авторы: Yujian Liu, Shiyu Chang, Tommi Jaakkola, Yang Zhang

cs.AI

Аннотация

Недавние исследования выявили один из обостряющих факторов галлюцинаций в LLM как несоответствие знаний между предварительным обучением и настройкой feine-tuning, где незнакомые данные feine-tuning вводят LLM в заблуждение, заставляя его создавать правдоподобные, но неверные результаты. В данной статье мы предлагаем новую стратегию настройки feine-tuning, называемую Prereq-Tune, чтобы решить это несоответствие знаний и снизить галлюцинации. Фундаментально Prereq-Tune разделяет изучение навыков и знаний, таким образом, модель изучает только навыки задачи, не подвергаясь влиянию несоответствия знаний. Для достижения этого Prereq-Tune вводит дополнительный этап предварительного обучения для изучения необходимых знаний для SFT, позволяя последующему SFT сосредоточиться только на навыках задачи. Prereq-Tune также может быть объединен с фиктивными синтетическими данными для улучшения обоснования результатов LLM своим внутренним знанием. Эксперименты показывают, что Prereq-Tune превосходит существующие базовые уровни в улучшении фактичности LLM в коротких задачах вопрос-ответ и генерации длинных форм. Он также открывает новые возможности для генерации, контролируемой знаниями в LLM. Наш код доступен по адресу https://github.com/UCSB-NLP-Chang/Prereq_tune.git.

English

Recent studies have identified one aggravating factor of LLM hallucinations as the knowledge inconsistency between pre-training and fine-tuning, where unfamiliar fine-tuning data mislead the LLM to fabricate plausible but wrong outputs. In this paper, we propose a novel fine-tuning strategy called Prereq-Tune to address this knowledge inconsistency and reduce hallucinations. Fundamentally, Prereq-Tune disentangles the learning of skills and knowledge, so the model learns only the task skills without being impacted by the knowledge inconsistency. To achieve this, Prereq-Tune introduces an additional prerequisite learning stage to learn the necessary knowledge for SFT, allowing subsequent SFT to focus only on task skills. Prereq-Tune can also be combined with fictitious synthetic data to enhance the grounding of LLM outputs to their internal knowledge. Experiments show that Prereq-Tune outperforms existing baselines in improving LLM's factuality across short QA and long-form generation tasks. It also opens new possibilities for knowledge-controlled generation in LLMs. Our code is available at https://github.com/UCSB-NLP-Chang/Prereq_tune.git.