架空の合成データは、事前学習を通じてLLMの事実性を向上させることができます。

Fictitious Synthetic Data Can Improve LLM Factuality via Prerequisite Learning

October 25, 2024

著者: Yujian Liu, Shiyu Chang, Tommi Jaakkola, Yang Zhang

cs.AI

要旨

最近の研究では、LLMの幻覚の悪化要因の1つとして、事前トレーニングとファインチューニングの間の知識の不整合が特定されており、未知のファインチューニングデータがLLMを誤ったが妥当な出力を作り出すように誤導することがある。本論文では、この知識の不整合を解消し、幻覚を減少させるための新しいファインチューニング戦略であるPrereq-Tuneを提案する。基本的に、Prereq-Tuneはスキルと知識の学習を分離することで、モデルがタスクスキルのみを学習し、知識の不整合の影響を受けないようにする。これを実現するために、Prereq-TuneはSFTのために必要な知識を学習するための追加の事前学習段階を導入し、その後のSFTがタスクスキルに焦点を当てることができるようにする。Prereq-Tuneは、LLMの出力を内部の知識により強固に基づかせるために架空の合成データと組み合わせることもできる。実験結果は、Prereq-Tuneが短いQAや長い形式の生成タスクにおけるLLMの事実性を向上させる点で既存のベースラインを凌駕していることを示している。また、LLMにおける知識制御生成の新たな可能性を切り拓く。当該コードは以下で入手可能：https://github.com/UCSB-NLP-Chang/Prereq_tune.git。

English

Recent studies have identified one aggravating factor of LLM hallucinations as the knowledge inconsistency between pre-training and fine-tuning, where unfamiliar fine-tuning data mislead the LLM to fabricate plausible but wrong outputs. In this paper, we propose a novel fine-tuning strategy called Prereq-Tune to address this knowledge inconsistency and reduce hallucinations. Fundamentally, Prereq-Tune disentangles the learning of skills and knowledge, so the model learns only the task skills without being impacted by the knowledge inconsistency. To achieve this, Prereq-Tune introduces an additional prerequisite learning stage to learn the necessary knowledge for SFT, allowing subsequent SFT to focus only on task skills. Prereq-Tune can also be combined with fictitious synthetic data to enhance the grounding of LLM outputs to their internal knowledge. Experiments show that Prereq-Tune outperforms existing baselines in improving LLM's factuality across short QA and long-form generation tasks. It also opens new possibilities for knowledge-controlled generation in LLMs. Our code is available at https://github.com/UCSB-NLP-Chang/Prereq_tune.git.