FLAME: Alinhamento com Consciência de Fatualidade para Modelos de Linguagem de Grande Escala

FLAME: Factuality-Aware Alignment for Large Language Models

May 2, 2024

Autores: Sheng-Chieh Lin, Luyu Gao, Barlas Oguz, Wenhan Xiong, Jimmy Lin, Wen-tau Yih, Xilun Chen

cs.AI

Resumo

O alinhamento é um procedimento padrão para ajustar modelos de linguagem de grande escala (LLMs) pré-treinados, a fim de seguir instruções em linguagem natural e atuar como assistentes de IA úteis. No entanto, observamos que o processo convencional de alinhamento não melhora a precisão factual dos LLMs e, frequentemente, leva à geração de mais fatos falsos (ou seja, alucinação). Neste artigo, estudamos como tornar o processo de alinhamento de LLMs mais factual, primeiro identificando os fatores que levam à alucinação em ambas as etapas de alinhamento: ajuste fino supervisionado (SFT) e aprendizado por reforço (RL). Em particular, descobrimos que treinar o LLM em novos conhecimentos ou textos desconhecidos pode incentivar a alucinação. Isso torna o SFT menos factual, pois ele treina em dados rotulados por humanos que podem ser novos para o LLM. Além disso, as funções de recompensa usadas no RL padrão também podem incentivar a alucinação, pois orientam o LLM a fornecer respostas mais úteis em um conjunto diversificado de instruções, muitas vezes preferindo respostas mais longas e detalhadas. Com base nessas observações, propomos um alinhamento consciente da factualidade, composto por SFT consciente da factualidade e RL consciente da factualidade por meio de otimização de preferência direta. Experimentos mostram que nosso alinhamento consciente da factualidade orienta os LLMs a gerar respostas mais factuais, mantendo a capacidade de seguir instruções.

English

Alignment is a standard procedure to fine-tune pre-trained large language models (LLMs) to follow natural language instructions and serve as helpful AI assistants. We have observed, however, that the conventional alignment process fails to enhance the factual accuracy of LLMs, and often leads to the generation of more false facts (i.e. hallucination). In this paper, we study how to make the LLM alignment process more factual, by first identifying factors that lead to hallucination in both alignment steps:\ supervised fine-tuning (SFT) and reinforcement learning (RL). In particular, we find that training the LLM on new knowledge or unfamiliar texts can encourage hallucination. This makes SFT less factual as it trains on human labeled data that may be novel to the LLM. Furthermore, reward functions used in standard RL can also encourage hallucination, because it guides the LLM to provide more helpful responses on a diverse set of instructions, often preferring longer and more detailed responses. Based on these observations, we propose factuality-aware alignment, comprised of factuality-aware SFT and factuality-aware RL through direct preference optimization. Experiments show that our proposed factuality-aware alignment guides LLMs to output more factual responses while maintaining instruction-following capability.