RLCD: Aprendizado por Reforço a partir de Distilação por Contraste para Alinhamento de Modelos de Linguagem

RLCD: Reinforcement Learning from Contrast Distillation for Language Model Alignment

July 24, 2023

Autores: Kevin Yang, Dan Klein, Asli Celikyilmaz, Nanyun Peng, Yuandong Tian

cs.AI

Resumo

Propomos o Aprendizado por Reforço a partir de Distilação de Contraste (RLCD), um método para alinhar modelos de linguagem a princípios de linguagem natural sem utilizar feedback humano. O RLCD treina um modelo de preferência utilizando pares de preferência simulados que contêm tanto um exemplo de alta qualidade quanto um de baixa qualidade, gerados por meio de prompts positivos e negativos contrastantes. O modelo de preferência é então utilizado para aprimorar um modelo de linguagem base não alinhado por meio de aprendizado por reforço. Empiricamente, o RLCD supera as linhas de base RLAIF (Bai et al., 2022b) e distilação de contexto (Huang et al., 2022) em três tarefas diversas de alinhamento—inocuidade, utilidade e geração de esboços de histórias—e em ambas as escalas de modelos de 7B e 30B para simulação de dados de preferência.

English

We propose Reinforcement Learning from Contrast Distillation (RLCD), a method for aligning language models to follow natural language principles without using human feedback. RLCD trains a preference model using simulated preference pairs that contain both a high-quality and low-quality example, generated using contrasting positive and negative prompts. The preference model is then used to improve a base unaligned language model via reinforcement learning. Empirically, RLCD outperforms RLAIF (Bai et al., 2022b) and context distillation (Huang et al., 2022) baselines across three diverse alignment tasks--harmlessness, helpfulness, and story outline generation--and on both 7B and 30B model scales for preference data simulation.