Alinhando Modelos de Linguagem de Grande Escala por meio de Feedback Sintético

Resumo

Alinhar grandes modelos de linguagem (LLMs) aos valores humanos tem se tornado cada vez mais importante, pois permite um controle sofisticado desses modelos, como fazê-los seguir instruções específicas enquanto os mantém menos tóxicos. No entanto, isso requer uma quantidade significativa de demonstrações e feedback humanos. Recentemente, modelos de código aberto tentaram replicar o processo de aprendizado de alinhamento por meio da destilação de dados de LLMs já alinhados, como o InstructGPT ou o ChatGPT. Embora esse processo reduza o esforço humano, a construção desses conjuntos de dados depende fortemente dos modelos "professores". Neste trabalho, propomos uma nova estrutura para o aprendizado de alinhamento que requer quase nenhum trabalho humano e não depende de LLMs pré-alinhados. Primeiro, realizamos a modelagem de recompensa (RM) com feedback sintético, contrastando respostas de LLMs básicos com diferentes tamanhos e prompts. Em seguida, usamos o RM para simular demonstrações de alta qualidade a fim de treinar uma política supervisionada e para otimizar ainda mais o modelo com aprendizado por reforço. Nosso modelo resultante, Aligned Language Model with Synthetic Training dataset (ALMoST), supera modelos de código aberto, incluindo Alpaca, Dolly e OpenAssistant, que são treinados com as saídas do InstructGPT ou instruções anotadas por humanos. Nosso modelo de 7B supera os modelos de 12-13B em testes A/B usando o GPT-4 como juiz, com uma taxa de vitória média de cerca de 75%.

English

Aligning large language models (LLMs) to human values has become increasingly important as it enables sophisticated steering of LLMs, e.g., making them follow given instructions while keeping them less toxic. However, it requires a significant amount of human demonstrations and feedback. Recently, open-sourced models have attempted to replicate the alignment learning process by distilling data from already aligned LLMs like InstructGPT or ChatGPT. While this process reduces human efforts, constructing these datasets has a heavy dependency on the teacher models. In this work, we propose a novel framework for alignment learning with almost no human labor and no dependency on pre-aligned LLMs. First, we perform reward modeling (RM) with synthetic feedback by contrasting responses from vanilla LLMs with various sizes and prompts. Then, we use the RM for simulating high-quality demonstrations to train a supervised policy and for further optimizing the model with reinforcement learning. Our resulting model, Aligned Language Model with Synthetic Training dataset (ALMoST), outperforms open-sourced models, including Alpaca, Dolly, and OpenAssistant, which are trained on the outputs of InstructGPT or human-annotated instructions. Our 7B-sized model outperforms the 12-13B models in the A/B tests using GPT-4 as the judge with about 75% winning rate on average.

Alinhando Modelos de Linguagem de Grande Escala por meio de Feedback Sintético

Aligning Large Language Models through Synthetic Feedback

Resumo

Support