FLAME: Выравнивание, учитывающее фактичность, для больших языковых моделей

FLAME: Factuality-Aware Alignment for Large Language Models

May 2, 2024

Авторы: Sheng-Chieh Lin, Luyu Gao, Barlas Oguz, Wenhan Xiong, Jimmy Lin, Wen-tau Yih, Xilun Chen

cs.AI

Аннотация

Выравнивание является стандартной процедурой для настройки заранее обученных крупных языковых моделей (КЯМ) на естественные языковые инструкции и их использования в качестве полезных помощников по искусственному интеллекту. Однако мы обнаружили, что традиционный процесс выравнивания не способствует улучшению фактической точности КЯМ и часто приводит к генерации большего количества ложных фактов (т.е. галлюцинации). В данной статье мы изучаем, как сделать процесс выравнивания КЯМ более фактическим, сначала выявив факторы, приводящие к галлюцинациям на обоих этапах выравнивания: надзорное дообучение (SFT) и обучение с подкреплением (RL). В частности, мы обнаружили, что обучение КЯМ на новых знаниях или незнакомых текстах может способствовать галлюцинациям. Это делает SFT менее фактическим, поскольку он обучается на данных, размеченных людьми, которые могут быть новыми для КЯМ. Более того, функции вознаграждения, используемые в стандартном RL, также могут способствовать галлюцинациям, поскольку они направляют КЯМ на предоставление более полезных ответов на разнообразные инструкции, часто предпочитая более длинные и подробные ответы. Исходя из этих наблюдений, мы предлагаем выравнивание, ориентированное на фактичность, состоящее из выравнивания, ориентированного на фактичность, и RL, ориентированного на фактичность, через прямую оптимизацию предпочтений. Эксперименты показывают, что наше предложенное выравнивание, ориентированное на фактичность, направляет КЯМ на вывод более фактических ответов, сохраняя при этом способность следовать инструкциям.

English

Alignment is a standard procedure to fine-tune pre-trained large language models (LLMs) to follow natural language instructions and serve as helpful AI assistants. We have observed, however, that the conventional alignment process fails to enhance the factual accuracy of LLMs, and often leads to the generation of more false facts (i.e. hallucination). In this paper, we study how to make the LLM alignment process more factual, by first identifying factors that lead to hallucination in both alignment steps:\ supervised fine-tuning (SFT) and reinforcement learning (RL). In particular, we find that training the LLM on new knowledge or unfamiliar texts can encourage hallucination. This makes SFT less factual as it trains on human labeled data that may be novel to the LLM. Furthermore, reward functions used in standard RL can also encourage hallucination, because it guides the LLM to provide more helpful responses on a diverse set of instructions, often preferring longer and more detailed responses. Based on these observations, we propose factuality-aware alignment, comprised of factuality-aware SFT and factuality-aware RL through direct preference optimization. Experiments show that our proposed factuality-aware alignment guides LLMs to output more factual responses while maintaining instruction-following capability.