FLAME: Faktualitätsbewusste Ausrichtung für große Sprachmodelle

FLAME: Factuality-Aware Alignment for Large Language Models

May 2, 2024

Autoren: Sheng-Chieh Lin, Luyu Gao, Barlas Oguz, Wenhan Xiong, Jimmy Lin, Wen-tau Yih, Xilun Chen

cs.AI

Zusammenfassung

Die Ausrichtung ist ein Standardverfahren zur Feinabstimmung von vortrainierten großen Sprachmodellen (LLMs), um natürlichen Sprachanweisungen zu folgen und als hilfreiche KI-Assistenten zu dienen. Wir haben jedoch beobachtet, dass der herkömmliche Ausrichtungsprozess die faktische Genauigkeit von LLMs nicht verbessert und oft zu einer vermehrten Generierung falscher Fakten (d. h. Halluzination) führt. In diesem Papier untersuchen wir, wie der Ausrichtungsprozess von LLMs faktentreuer gestaltet werden kann, indem wir zunächst Faktoren identifizieren, die zu Halluzinationen in beiden Ausrichtungsschritten führen: überwachtes Feintuning (SFT) und Verstärkendes Lernen (RL). Insbesondere stellen wir fest, dass das Training des LLMs mit neuem Wissen oder unvertrauten Texten Halluzinationen fördern kann. Dies macht SFT weniger faktentreu, da es auf menschlich gelabelten Daten trainiert, die für das LLM möglicherweise neu sind. Darüber hinaus können Belohnungsfunktionen, die im Standard-RL verwendet werden, ebenfalls Halluzinationen fördern, da sie das LLM dazu anleiten, auf eine vielfältige Menge von Anweisungen hilfreichere Antworten zu geben, oft längere und ausführlichere Antworten bevorzugend. Basierend auf diesen Beobachtungen schlagen wir eine faktentreue Ausrichtung vor, bestehend aus faktentreuem SFT und faktentreuem RL durch direkte Präferenzoptimierung. Experimente zeigen, dass unsere vorgeschlagene faktentreue Ausrichtung LLMs dazu anleitet, faktentreuere Antworten auszugeben, während sie die Fähigkeit zur Befolgung von Anweisungen beibehalten.

English

Alignment is a standard procedure to fine-tune pre-trained large language models (LLMs) to follow natural language instructions and serve as helpful AI assistants. We have observed, however, that the conventional alignment process fails to enhance the factual accuracy of LLMs, and often leads to the generation of more false facts (i.e. hallucination). In this paper, we study how to make the LLM alignment process more factual, by first identifying factors that lead to hallucination in both alignment steps:\ supervised fine-tuning (SFT) and reinforcement learning (RL). In particular, we find that training the LLM on new knowledge or unfamiliar texts can encourage hallucination. This makes SFT less factual as it trains on human labeled data that may be novel to the LLM. Furthermore, reward functions used in standard RL can also encourage hallucination, because it guides the LLM to provide more helpful responses on a diverse set of instructions, often preferring longer and more detailed responses. Based on these observations, we propose factuality-aware alignment, comprised of factuality-aware SFT and factuality-aware RL through direct preference optimization. Experiments show that our proposed factuality-aware alignment guides LLMs to output more factual responses while maintaining instruction-following capability.