FactAlign: Alineación de Factibilidad de Textos Extensos de Modelos de Lenguaje Grandes

FactAlign: Long-form Factuality Alignment of Large Language Models

October 2, 2024

Autores: Chao-Wei Huang, Yun-Nung Chen

cs.AI

Resumen

Los grandes modelos de lenguaje han demostrado un potencial significativo como los motores de acceso a la información de próxima generación. Sin embargo, su fiabilidad se ve obstaculizada por problemas de alucinación y generación de contenido no factual. Esto es particularmente problemático en respuestas extensas, donde evaluar y garantizar la precisión factual es complejo. En este documento, abordamos esta brecha proponiendo FactAlign, un marco de alineación novedoso diseñado para mejorar la factualidad de las respuestas extensas de los LLMs manteniendo su utilidad. Presentamos fKTO, un algoritmo de alineación a nivel de oración detallado que amplía el método de alineación Kahneman-Tversky Optimization (KTO). Aprovechando los avances recientes en la evaluación automática de factualidad, FactAlign utiliza evaluaciones de factualidad detalladas para guiar el proceso de alineación. Nuestros experimentos en indicaciones de dominio abierto y preguntas de búsqueda de información demuestran que FactAlign mejora significativamente la precisión factual de las respuestas de LLMs, al mismo tiempo que mejora su utilidad. Análisis adicionales identifican que FactAlign es capaz de entrenar a los LLMs para proporcionar más información sin perder precisión factual, mejorando así el puntaje F1 factual. Nuestro código fuente, conjuntos de datos y modelos entrenados están disponibles públicamente en https://github.com/MiuLab/FactAlign

English

Large language models have demonstrated significant potential as the next-generation information access engines. However, their reliability is hindered by issues of hallucination and generating non-factual content. This is particularly problematic in long-form responses, where assessing and ensuring factual accuracy is complex. In this paper, we address this gap by proposing FactAlign, a novel alignment framework designed to enhance the factuality of LLMs' long-form responses while maintaining their helpfulness. We introduce fKTO, a fine-grained, sentence-level alignment algorithm that extends the Kahneman-Tversky Optimization (KTO) alignment method. Leveraging recent advances in automatic factuality evaluation, FactAlign utilizes fine-grained factuality assessments to guide the alignment process. Our experiments on open-domain prompts and information-seeking questions demonstrate that FactAlign significantly improves the factual accuracy of LLM responses while also improving their helpfulness. Further analyses identify that FactAlign is capable of training LLMs to provide more information without losing factual precision, thus improving the factual F1 score. Our source code, datasets, and trained models are publicly available at https://github.com/MiuLab/FactAlign