Ausrichtung großer Sprachmodelle durch synthetisches Feedback

Zusammenfassung

Die Ausrichtung großer Sprachmodelle (LLMs) an menschlichen Werten ist zunehmend wichtig geworden, da sie eine anspruchsvolle Steuerung von LLMs ermöglicht, z. B. indem sie dazu gebracht werden, vorgegebene Anweisungen zu befolgen, während sie gleichzeitig weniger toxisch bleiben. Dies erfordert jedoch eine erhebliche Menge an menschlichen Demonstrationen und Feedback. Kürzlich haben Open-Source-Modelle versucht, den Ausrichtungsprozess nachzuahmen, indem sie Daten von bereits ausgerichteten LLMs wie InstructGPT oder ChatGPT destilliert haben. Obwohl dieser Prozess den menschlichen Aufwand reduziert, hängt die Erstellung dieser Datensätze stark von den Lehrer-Modellen ab. In dieser Arbeit schlagen wir ein neuartiges Framework für das Ausrichtungslernen vor, das nahezu ohne menschliche Arbeit und ohne Abhängigkeit von vorab ausgerichteten LLMs auskommt. Zunächst führen wir ein Belohnungsmodell (RM) mit synthetischem Feedback durch, indem wir Antworten von Standard-LLMs verschiedener Größen und mit verschiedenen Prompts vergleichen. Anschließend verwenden wir das RM, um hochwertige Demonstrationen zu simulieren, um eine überwachte Policy zu trainieren und das Modell weiter durch Reinforcement Learning zu optimieren. Unser resultierendes Modell, Aligned Language Model with Synthetic Training dataset (ALMoST), übertrifft Open-Source-Modelle wie Alpaca, Dolly und OpenAssistant, die auf den Ausgaben von InstructGPT oder von Menschen annotierten Anweisungen trainiert wurden. Unser 7B-Modell übertrifft die 12-13B-Modelle in A/B-Tests, bei denen GPT-4 als Bewertungssystem verwendet wird, mit einer durchschnittlichen Gewinnrate von etwa 75 %.

English

Aligning large language models (LLMs) to human values has become increasingly important as it enables sophisticated steering of LLMs, e.g., making them follow given instructions while keeping them less toxic. However, it requires a significant amount of human demonstrations and feedback. Recently, open-sourced models have attempted to replicate the alignment learning process by distilling data from already aligned LLMs like InstructGPT or ChatGPT. While this process reduces human efforts, constructing these datasets has a heavy dependency on the teacher models. In this work, we propose a novel framework for alignment learning with almost no human labor and no dependency on pre-aligned LLMs. First, we perform reward modeling (RM) with synthetic feedback by contrasting responses from vanilla LLMs with various sizes and prompts. Then, we use the RM for simulating high-quality demonstrations to train a supervised policy and for further optimizing the model with reinforcement learning. Our resulting model, Aligned Language Model with Synthetic Training dataset (ALMoST), outperforms open-sourced models, including Alpaca, Dolly, and OpenAssistant, which are trained on the outputs of InstructGPT or human-annotated instructions. Our 7B-sized model outperforms the 12-13B models in the A/B tests using GPT-4 as the judge with about 75% winning rate on average.

Ausrichtung großer Sprachmodelle durch synthetisches Feedback

Aligning Large Language Models through Synthetic Feedback

Zusammenfassung

Support