Allineamento di Modelli Linguistici di Grandi Dimensioni tramite Feedback Sintetico

Aligning Large Language Models through Synthetic Feedback

May 23, 2023

Autori: Sungdong Kim, Sanghwan Bae, Jamin Shin, Soyoung Kang, Donghyun Kwak, Kang Min Yoo, Minjoon Seo

cs.AI

Abstract

Allineare i grandi modelli linguistici (LLM) ai valori umani è diventato sempre più importante poiché consente un controllo sofisticato degli LLM, ad esempio facendoli seguire istruzioni specifiche mantenendoli meno tossici. Tuttavia, ciò richiede una quantità significativa di dimostrazioni e feedback umani. Recentemente, modelli open-source hanno tentato di replicare il processo di apprendimento dell'allineamento distillando dati da LLM già allineati come InstructGPT o ChatGPT. Sebbene questo processo riduca lo sforzo umano, la costruzione di questi dataset dipende fortemente dai modelli insegnanti. In questo lavoro, proponiamo un nuovo framework per l'apprendimento dell'allineamento con quasi nessun lavoro umano e nessuna dipendenza da LLM pre-allineati. Innanzitutto, eseguiamo la modellazione della ricompensa (RM) con feedback sintetico confrontando le risposte di LLM standard di varie dimensioni e prompt. Successivamente, utilizziamo la RM per simulare dimostrazioni di alta qualità per addestrare una politica supervisionata e per ottimizzare ulteriormente il modello con l'apprendimento per rinforzo. Il nostro modello risultante, Aligned Language Model with Synthetic Training dataset (ALMoST), supera i modelli open-source, inclusi Alpaca, Dolly e OpenAssistant, che sono addestrati sugli output di InstructGPT o su istruzioni annotate da esseri umani. Il nostro modello da 7B supera i modelli da 12-13B nei test A/B utilizzando GPT-4 come giudice, con una percentuale di vittoria media di circa il 75%.

English

Aligning large language models (LLMs) to human values has become increasingly important as it enables sophisticated steering of LLMs, e.g., making them follow given instructions while keeping them less toxic. However, it requires a significant amount of human demonstrations and feedback. Recently, open-sourced models have attempted to replicate the alignment learning process by distilling data from already aligned LLMs like InstructGPT or ChatGPT. While this process reduces human efforts, constructing these datasets has a heavy dependency on the teacher models. In this work, we propose a novel framework for alignment learning with almost no human labor and no dependency on pre-aligned LLMs. First, we perform reward modeling (RM) with synthetic feedback by contrasting responses from vanilla LLMs with various sizes and prompts. Then, we use the RM for simulating high-quality demonstrations to train a supervised policy and for further optimizing the model with reinforcement learning. Our resulting model, Aligned Language Model with Synthetic Training dataset (ALMoST), outperforms open-sourced models, including Alpaca, Dolly, and OpenAssistant, which are trained on the outputs of InstructGPT or human-annotated instructions. Our 7B-sized model outperforms the 12-13B models in the A/B tests using GPT-4 as the judge with about 75% winning rate on average.