FactAlign: 大規模言語モデルの長文事実整合化

FactAlign: Long-form Factuality Alignment of Large Language Models

October 2, 2024

著者: Chao-Wei Huang, Yun-Nung Chen

cs.AI

要旨

大規模言語モデルは、次世代の情報アクセスエンジンとして重要な潜在能力を示しています。ただし、幻覚や非事実的なコンテンツの生成といった問題により、信頼性が損なわれています。これは特に長文応答において複雑な事実の正確性の評価と確保が困難な場合に問題となります。本論文では、LLMの長文応答の事実性を向上させつつ有用性を維持するために設計された革新的なアライメントフレームワークであるFactAlignを提案してこのギャップに取り組みます。私たちは、Kahneman-Tversky Optimization（KTO）アライメント手法を拡張した、文レベルの細かいアライメントアルゴリズムであるfKTOを導入します。最近の自動事実性評価の進歩を活用し、FactAlignは細かい事実性評価を利用してアライメントプロセスを誘導します。オープンドメインのプロンプトや情報検索質問に対する実験では、FactAlignがLLMの応答の事実的な正確性を著しく向上させることを示し、同時に有用性も向上させることができます。さらなる分析により、FactAlignがLLMにより多くの情報を提供するようトレーニングし、事実の精度を損なうことなく事実のF1スコアを向上させることができることが明らかになります。私たちのソースコード、データセット、トレーニング済みモデルは、https://github.com/MiuLab/FactAlign で公開されています。

English

Large language models have demonstrated significant potential as the next-generation information access engines. However, their reliability is hindered by issues of hallucination and generating non-factual content. This is particularly problematic in long-form responses, where assessing and ensuring factual accuracy is complex. In this paper, we address this gap by proposing FactAlign, a novel alignment framework designed to enhance the factuality of LLMs' long-form responses while maintaining their helpfulness. We introduce fKTO, a fine-grained, sentence-level alignment algorithm that extends the Kahneman-Tversky Optimization (KTO) alignment method. Leveraging recent advances in automatic factuality evaluation, FactAlign utilizes fine-grained factuality assessments to guide the alignment process. Our experiments on open-domain prompts and information-seeking questions demonstrate that FactAlign significantly improves the factual accuracy of LLM responses while also improving their helpfulness. Further analyses identify that FactAlign is capable of training LLMs to provide more information without losing factual precision, thus improving the factual F1 score. Our source code, datasets, and trained models are publicly available at https://github.com/MiuLab/FactAlign