FLAME: Alineación Consciente de la Factualidad para Modelos de Lenguaje de Gran Escala

FLAME: Factuality-Aware Alignment for Large Language Models

May 2, 2024

Autores: Sheng-Chieh Lin, Luyu Gao, Barlas Oguz, Wenhan Xiong, Jimmy Lin, Wen-tau Yih, Xilun Chen

cs.AI

Resumen

La alineación es un procedimiento estándar para ajustar modelos de lenguaje preentrenados (LLMs, por sus siglas en inglés) con el fin de que sigan instrucciones en lenguaje natural y funcionen como asistentes de IA útiles. Sin embargo, hemos observado que el proceso de alineación convencional no mejora la precisión factual de los LLMs y, a menudo, conduce a la generación de más hechos falsos (es decir, alucinaciones). En este artículo, estudiamos cómo hacer que el proceso de alineación de los LLMs sea más factual, identificando primero los factores que provocan alucinaciones en ambas etapas de la alineación: el ajuste fino supervisado (SFT) y el aprendizaje por refuerzo (RL). En particular, encontramos que entrenar al LLM con conocimientos nuevos o textos desconocidos puede fomentar las alucinaciones. Esto hace que el SFT sea menos factual, ya que se entrena con datos etiquetados por humanos que pueden ser novedosos para el LLM. Además, las funciones de recompensa utilizadas en el RL estándar también pueden fomentar las alucinaciones, ya que guían al LLM a proporcionar respuestas más útiles en un conjunto diverso de instrucciones, a menudo prefiriendo respuestas más largas y detalladas. Basándonos en estas observaciones, proponemos una alineación consciente de la factualidad, compuesta por un SFT consciente de la factualidad y un RL consciente de la factualidad mediante la optimización directa de preferencias. Los experimentos muestran que nuestra propuesta de alineación consciente de la factualidad guía a los LLMs a generar respuestas más factuales mientras mantiene la capacidad de seguir instrucciones.

English

Alignment is a standard procedure to fine-tune pre-trained large language models (LLMs) to follow natural language instructions and serve as helpful AI assistants. We have observed, however, that the conventional alignment process fails to enhance the factual accuracy of LLMs, and often leads to the generation of more false facts (i.e. hallucination). In this paper, we study how to make the LLM alignment process more factual, by first identifying factors that lead to hallucination in both alignment steps:\ supervised fine-tuning (SFT) and reinforcement learning (RL). In particular, we find that training the LLM on new knowledge or unfamiliar texts can encourage hallucination. This makes SFT less factual as it trains on human labeled data that may be novel to the LLM. Furthermore, reward functions used in standard RL can also encourage hallucination, because it guides the LLM to provide more helpful responses on a diverse set of instructions, often preferring longer and more detailed responses. Based on these observations, we propose factuality-aware alignment, comprised of factuality-aware SFT and factuality-aware RL through direct preference optimization. Experiments show that our proposed factuality-aware alignment guides LLMs to output more factual responses while maintaining instruction-following capability.