FactAlign: Выравнивание фактичности в длинных текстах больших языковых моделей

FactAlign: Long-form Factuality Alignment of Large Language Models

October 2, 2024

Авторы: Chao-Wei Huang, Yun-Nung Chen

cs.AI

Аннотация

Большие языковые модели продемонстрировали значительный потенциал как информационные поисковые машины следующего поколения. Однако их надежность ослаблена проблемами галлюцинаций и генерации нефактического контента. Это особенно проблематично в длинных ответах, где оценка и обеспечение фактической точности является сложной задачей. В данной статье мы решаем эту проблему, предлагая FactAlign, новую систему выравнивания, разработанную для повышения фактической точности длинных ответов LLM, сохраняя их полезность. Мы представляем fKTO, тонко настроенный алгоритм выравнивания на уровне предложения, который расширяет метод выравнивания Kahneman-Tversky Optimization (KTO). Используя последние достижения в автоматической оценке фактичности, FactAlign использует тонко настроенные оценки фактичности для направления процесса выравнивания. Наши эксперименты на открытых запросах и информационных вопросах показывают, что FactAlign значительно повышает фактическую точность ответов LLM, улучшая их полезность. Дополнительные анализы показывают, что FactAlign способен обучать LLM предоставлять больше информации, не теряя фактической точности, тем самым улучшая фактический F1-скор. Наш исходный код, наборы данных и обученные модели доступны публично по адресу https://github.com/MiuLab/FactAlign

English

Large language models have demonstrated significant potential as the next-generation information access engines. However, their reliability is hindered by issues of hallucination and generating non-factual content. This is particularly problematic in long-form responses, where assessing and ensuring factual accuracy is complex. In this paper, we address this gap by proposing FactAlign, a novel alignment framework designed to enhance the factuality of LLMs' long-form responses while maintaining their helpfulness. We introduce fKTO, a fine-grained, sentence-level alignment algorithm that extends the Kahneman-Tversky Optimization (KTO) alignment method. Leveraging recent advances in automatic factuality evaluation, FactAlign utilizes fine-grained factuality assessments to guide the alignment process. Our experiments on open-domain prompts and information-seeking questions demonstrate that FactAlign significantly improves the factual accuracy of LLM responses while also improving their helpfulness. Further analyses identify that FactAlign is capable of training LLMs to provide more information without losing factual precision, thus improving the factual F1 score. Our source code, datasets, and trained models are publicly available at https://github.com/MiuLab/FactAlign