Alineación de Modelos de Lenguaje de Gran Escala mediante Retroalimentación Sintética

Aligning Large Language Models through Synthetic Feedback

May 23, 2023

Autores: Sungdong Kim, Sanghwan Bae, Jamin Shin, Soyoung Kang, Donghyun Kwak, Kang Min Yoo, Minjoon Seo

cs.AI

Resumen

Alinear los modelos de lenguaje de gran escala (LLMs) con los valores humanos se ha vuelto cada vez más importante, ya que permite un control sofisticado de estos modelos, por ejemplo, hacer que sigan instrucciones dadas mientras se mantienen menos tóxicos. Sin embargo, este proceso requiere una cantidad significativa de demostraciones y retroalimentación humana. Recientemente, modelos de código abierto han intentado replicar el proceso de aprendizaje de alineación mediante la destilación de datos de LLMs ya alineados, como InstructGPT o ChatGPT. Aunque este proceso reduce el esfuerzo humano, la construcción de estos conjuntos de datos depende en gran medida de los modelos maestros. En este trabajo, proponemos un marco novedoso para el aprendizaje de alineación con casi ningún esfuerzo humano y sin dependencia de LLMs prealineados. Primero, realizamos modelado de recompensas (RM) con retroalimentación sintética contrastando respuestas de LLMs básicos de varios tamaños y prompts. Luego, utilizamos el RM para simular demostraciones de alta calidad y entrenar una política supervisada, y para optimizar aún más el modelo con aprendizaje por refuerzo. Nuestro modelo resultante, Aligned Language Model with Synthetic Training dataset (ALMoST), supera a los modelos de código abierto, incluyendo Alpaca, Dolly y OpenAssistant, que están entrenados en las salidas de InstructGPT o en instrucciones anotadas por humanos. Nuestro modelo de 7B supera a los modelos de 12-13B en pruebas A/B utilizando GPT-4 como juez, con una tasa de victoria promedio de alrededor del 75%.

English

Aligning large language models (LLMs) to human values has become increasingly important as it enables sophisticated steering of LLMs, e.g., making them follow given instructions while keeping them less toxic. However, it requires a significant amount of human demonstrations and feedback. Recently, open-sourced models have attempted to replicate the alignment learning process by distilling data from already aligned LLMs like InstructGPT or ChatGPT. While this process reduces human efforts, constructing these datasets has a heavy dependency on the teacher models. In this work, we propose a novel framework for alignment learning with almost no human labor and no dependency on pre-aligned LLMs. First, we perform reward modeling (RM) with synthetic feedback by contrasting responses from vanilla LLMs with various sizes and prompts. Then, we use the RM for simulating high-quality demonstrations to train a supervised policy and for further optimizing the model with reinforcement learning. Our resulting model, Aligned Language Model with Synthetic Training dataset (ALMoST), outperforms open-sourced models, including Alpaca, Dolly, and OpenAssistant, which are trained on the outputs of InstructGPT or human-annotated instructions. Our 7B-sized model outperforms the 12-13B models in the A/B tests using GPT-4 as the judge with about 75% winning rate on average.