Выравнивание больших языковых моделей с использованием синтетической обратной связи

Aligning Large Language Models through Synthetic Feedback

May 23, 2023

Авторы: Sungdong Kim, Sanghwan Bae, Jamin Shin, Soyoung Kang, Donghyun Kwak, Kang Min Yoo, Minjoon Seo

cs.AI

Аннотация

Согласование больших языковых моделей (LLM) с человеческими ценностями становится все более важным, так как это позволяет осуществлять сложное управление LLM, например, заставлять их следовать заданным инструкциям, одновременно снижая их токсичность. Однако это требует значительного объема человеческих демонстраций и обратной связи. Недавно открытые модели попытались воспроизвести процесс обучения согласованию, извлекая данные из уже согласованных LLM, таких как InstructGPT или ChatGPT. Хотя этот процесс снижает усилия человека, создание таких наборов данных сильно зависит от моделей-учителей. В данной работе мы предлагаем новую структуру для обучения согласованию, практически без участия человека и без зависимости от предварительно согласованных LLM. Сначала мы выполняем моделирование вознаграждения (RM) с использованием синтетической обратной связи, сравнивая ответы базовых LLM различных размеров и с различными промптами. Затем мы используем RM для симуляции высококачественных демонстраций, чтобы обучить контролируемую политику, и для дальнейшей оптимизации модели с помощью обучения с подкреплением. Наша итоговая модель, Aligned Language Model with Synthetic Training dataset (ALMoST), превосходит открытые модели, включая Alpaca, Dolly и OpenAssistant, которые обучены на выходах InstructGPT или инструкциях, аннотированных человеком. Наша модель размером 7B превосходит модели размером 12-13B в A/B-тестах с использованием GPT-4 в качестве судьи, с показателем выигрыша около 75% в среднем.

English

Aligning large language models (LLMs) to human values has become increasingly important as it enables sophisticated steering of LLMs, e.g., making them follow given instructions while keeping them less toxic. However, it requires a significant amount of human demonstrations and feedback. Recently, open-sourced models have attempted to replicate the alignment learning process by distilling data from already aligned LLMs like InstructGPT or ChatGPT. While this process reduces human efforts, constructing these datasets has a heavy dependency on the teacher models. In this work, we propose a novel framework for alignment learning with almost no human labor and no dependency on pre-aligned LLMs. First, we perform reward modeling (RM) with synthetic feedback by contrasting responses from vanilla LLMs with various sizes and prompts. Then, we use the RM for simulating high-quality demonstrations to train a supervised policy and for further optimizing the model with reinforcement learning. Our resulting model, Aligned Language Model with Synthetic Training dataset (ALMoST), outperforms open-sourced models, including Alpaca, Dolly, and OpenAssistant, which are trained on the outputs of InstructGPT or human-annotated instructions. Our 7B-sized model outperforms the 12-13B models in the A/B tests using GPT-4 as the judge with about 75% winning rate on average.