MA-RLHF: Aprendizado por Reforço a partir do Feedback Humano com Ações Macro

MA-RLHF: Reinforcement Learning from Human Feedback with Macro Actions

October 3, 2024

Autores: Yekun Chai, Haoran Sun, Huang Fang, Shuohuan Wang, Yu Sun, Hua Wu

cs.AI

Resumo

A aprendizagem por reforço a partir do feedback humano (RLHF) demonstrou eficácia em alinhar grandes modelos de linguagem (LLMs) com as preferências humanas. No entanto, o RLHF a nível de token sofre do problema de atribuição de crédito em sequências longas, onde recompensas atrasadas tornam desafiador para o modelo discernir quais ações contribuíram para resultados bem-sucedidos. Isso prejudica a eficiência de aprendizado e retarda a convergência. Neste artigo, propomos MA-RLHF, um framework RLHF simples mas eficaz que incorpora macro ações - sequências de tokens ou construções de linguagem em níveis mais altos - no processo de aprendizado. Ao operar nesse nível mais elevado de abstração, nossa abordagem reduz a distância temporal entre ações e recompensas, facilitando uma atribuição de crédito mais rápida e precisa. Isso resulta em estimativas mais estáveis do gradiente de política e aprimora a eficiência de aprendizado dentro de cada episódio, tudo isso sem aumentar a complexidade computacional durante o treinamento ou inferência. Validamos nossa abordagem por meio de experimentos extensivos em vários tamanhos de modelo e tarefas, incluindo sumarização de texto, geração de diálogo, resposta a perguntas e síntese de programas. Nosso método alcança melhorias de desempenho substanciais em relação ao RLHF padrão, com ganhos de desempenho de até 30% em sumarização de texto e geração de código, 18% em diálogo e 8% em tarefas de resposta a perguntas. Notavelmente, nossa abordagem atinge a paridade com o RLHF convencional 1,7x a 2x mais rapidamente em termos de tempo de treinamento e continua a superá-lo com mais treinamento. Disponibilizaremos nosso código e dados publicamente em https://github.com/ernie-research/MA-RLHF.

English

Reinforcement learning from human feedback (RLHF) has demonstrated effectiveness in aligning large language models (LLMs) with human preferences. However, token-level RLHF suffers from the credit assignment problem over long sequences, where delayed rewards make it challenging for the model to discern which actions contributed to successful outcomes. This hinders learning efficiency and slows convergence. In this paper, we propose MA-RLHF, a simple yet effective RLHF framework that incorporates macro actions -- sequences of tokens or higher-level language constructs -- into the learning process. By operating at this higher level of abstraction, our approach reduces the temporal distance between actions and rewards, facilitating faster and more accurate credit assignment. This results in more stable policy gradient estimates and enhances learning efficiency within each episode, all without increasing computational complexity during training or inference. We validate our approach through extensive experiments across various model sizes and tasks, including text summarization, dialogue generation, question answering, and program synthesis. Our method achieves substantial performance improvements over standard RLHF, with performance gains of up to 30% in text summarization and code generation, 18% in dialogue, and 8% in question answering tasks. Notably, our approach reaches parity with vanilla RLHF 1.7x to 2x faster in terms of training time and continues to outperform it with further training. We will make our code and data publicly available at https://github.com/ernie-research/MA-RLHF .