Modelos de Linguagem Bootstrapping com Recompensas Implícitas de DPO

Resumo

O alinhamento humano em modelos de linguagem de grande escala (LLMs) é uma área ativa de pesquisa. Um trabalho recente e revolucionário, a otimização direta de preferências (DPO), simplificou significativamente o processo em relação a trabalhos anteriores em aprendizado por reforço com feedback humano (RLHF), ao contornar a etapa de aprendizado de recompensa no RLHF. Após o treinamento, a DPO fornece um modelo de recompensa implícito. Neste trabalho, fazemos uma observação inédita de que esse modelo de recompensa implícito pode, por si só, ser usado de forma iterativa para alinhar ainda mais o LLM. Nossa abordagem consiste em utilizar as recompensas de um modelo LLM atual para construir um conjunto de dados de preferências, que é então usado em rodadas subsequentes de DPO. Incorporamos refinamentos que reduzem o viés no comprimento das respostas e melhoram a qualidade do conjunto de dados de preferências para aprimorar ainda mais nossa abordagem. Nossa abordagem, denominada autoalinhamento com recompensas implícitas da DPO (DICE), mostra grandes melhorias no alinhamento e alcança desempenho superior ao Gemini Pro no AlpacaEval 2, atingindo uma taxa de vitória controlada por comprimento de 27,55% em relação ao GPT-4 Turbo, mas com apenas 8 bilhões de parâmetros e sem feedback externo. Nosso código está disponível em https://github.com/sail-sg/dice.

English

Human alignment in large language models (LLMs) is an active area of research. A recent groundbreaking work, direct preference optimization (DPO), has greatly simplified the process from past work in reinforcement learning from human feedback (RLHF) by bypassing the reward learning stage in RLHF. DPO, after training, provides an implicit reward model. In this work, we make a novel observation that this implicit reward model can by itself be used in a bootstrapping fashion to further align the LLM. Our approach is to use the rewards from a current LLM model to construct a preference dataset, which is then used in subsequent DPO rounds. We incorporate refinements that debias the length of the responses and improve the quality of the preference dataset to further improve our approach. Our approach, named self-alignment with DPO ImpliCit rEwards (DICE), shows great improvements in alignment and achieves superior performance than Gemini Pro on AlpacaEval 2, reaching 27.55% length-controlled win rate against GPT-4 Turbo, but with only 8B parameters and no external feedback. Our code is available at https://github.com/sail-sg/dice.

Modelos de Linguagem Bootstrapping com Recompensas Implícitas de DPO

Bootstrapping Language Models with DPO Implicit Rewards

Resumo

Support