FactAlign: Alinhamento de Factualidade de Longo Formato de Modelos de Linguagem Grandes

FactAlign: Long-form Factuality Alignment of Large Language Models

October 2, 2024

Autores: Chao-Wei Huang, Yun-Nung Chen

cs.AI

Resumo

Grandes modelos de linguagem têm demonstrado um potencial significativo como as próximas gerações de motores de acesso à informação. No entanto, sua confiabilidade é prejudicada por problemas de alucinação e geração de conteúdo não factual. Isso é particularmente problemático em respostas de longo formato, onde avaliar e garantir a precisão factual é complexo. Neste artigo, abordamos essa lacuna propondo o FactAlign, um novo framework de alinhamento projetado para aprimorar a factualidade das respostas de longo formato dos LLMs, mantendo sua utilidade. Apresentamos o fKTO, um algoritmo de alinhamento de nível de sentença refinado que estende o método de alinhamento Kahneman-Tversky Optimization (KTO). Aproveitando os avanços recentes na avaliação automática de factualidade, o FactAlign utiliza avaliações de factualidade refinadas para orientar o processo de alinhamento. Nossos experimentos em prompts de domínio aberto e perguntas de busca de informações demonstram que o FactAlign melhora significativamente a precisão factual das respostas dos LLMs, ao mesmo tempo em que melhora sua utilidade. Análises adicionais identificam que o FactAlign é capaz de treinar os LLMs para fornecerem mais informações sem perder precisão factual, melhorando assim o escore F1 factual. Nosso código-fonte, conjuntos de dados e modelos treinados estão disponíveis publicamente em https://github.com/MiuLab/FactAlign

English

Large language models have demonstrated significant potential as the next-generation information access engines. However, their reliability is hindered by issues of hallucination and generating non-factual content. This is particularly problematic in long-form responses, where assessing and ensuring factual accuracy is complex. In this paper, we address this gap by proposing FactAlign, a novel alignment framework designed to enhance the factuality of LLMs' long-form responses while maintaining their helpfulness. We introduce fKTO, a fine-grained, sentence-level alignment algorithm that extends the Kahneman-Tversky Optimization (KTO) alignment method. Leveraging recent advances in automatic factuality evaluation, FactAlign utilizes fine-grained factuality assessments to guide the alignment process. Our experiments on open-domain prompts and information-seeking questions demonstrate that FactAlign significantly improves the factual accuracy of LLM responses while also improving their helpfulness. Further analyses identify that FactAlign is capable of training LLMs to provide more information without losing factual precision, thus improving the factual F1 score. Our source code, datasets, and trained models are publicly available at https://github.com/MiuLab/FactAlign