FactAlign: Allineamento della factualità a lungo termine dei grandi modelli linguistici

FactAlign: Long-form Factuality Alignment of Large Language Models

October 2, 2024

Autori: Chao-Wei Huang, Yun-Nung Chen

cs.AI

Abstract

I modelli linguistici di grandi dimensioni hanno dimostrato un significativo potenziale come motori di accesso alle informazioni di prossima generazione. Tuttavia, la loro affidabilità è ostacolata da problemi di allucinazione e generazione di contenuti non fattuali. Questo è particolarmente problematico nelle risposte di lunghezza estesa, dove valutare ed assicurare l'accuratezza fattuale è complesso. In questo articolo, affrontiamo questa lacuna proponendo FactAlign, un nuovo framework di allineamento progettato per migliorare la fattualità delle risposte di lunghezza estesa dei LLMs mantenendo nel contempo la loro utilità. Introduciamo fKTO, un algoritmo di allineamento a livello di frase dettagliato che estende il metodo di allineamento Kahneman-Tversky Optimization (KTO). Sfruttando i recenti progressi nella valutazione automatica della fattualità, FactAlign utilizza valutazioni di fattualità dettagliate per guidare il processo di allineamento. I nostri esperimenti su prompt di dominio aperto e domande di ricerca di informazioni dimostrano che FactAlign migliora significativamente l'accuratezza fattuale delle risposte dei LLMs migliorandone anche l'utilità. Ulteriori analisi identificano che FactAlign è in grado di addestrare i LLMs a fornire più informazioni senza perdere precisione fattuale, migliorando così il punteggio F1 fattuale. Il nostro codice sorgente, i dataset e i modelli addestrati sono pubblicamente disponibili su https://github.com/MiuLab/FactAlign

English

Large language models have demonstrated significant potential as the next-generation information access engines. However, their reliability is hindered by issues of hallucination and generating non-factual content. This is particularly problematic in long-form responses, where assessing and ensuring factual accuracy is complex. In this paper, we address this gap by proposing FactAlign, a novel alignment framework designed to enhance the factuality of LLMs' long-form responses while maintaining their helpfulness. We introduce fKTO, a fine-grained, sentence-level alignment algorithm that extends the Kahneman-Tversky Optimization (KTO) alignment method. Leveraging recent advances in automatic factuality evaluation, FactAlign utilizes fine-grained factuality assessments to guide the alignment process. Our experiments on open-domain prompts and information-seeking questions demonstrate that FactAlign significantly improves the factual accuracy of LLM responses while also improving their helpfulness. Further analyses identify that FactAlign is capable of training LLMs to provide more information without losing factual precision, thus improving the factual F1 score. Our source code, datasets, and trained models are publicly available at https://github.com/MiuLab/FactAlign