Text2Grad: Aprendizado por Reforço a partir de Feedback em Linguagem Natural

Text2Grad: Reinforcement Learning from Natural Language Feedback

May 28, 2025

Autores: Hanyang Wang, Lu Wang, Chaoyun Zhang, Tianjun Mao, Si Qin, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang

cs.AI

Resumo

O RLHF tradicional otimiza modelos de linguagem com recompensas escalares e grosseiras que mascaram as razões detalhadas por trás do sucesso ou fracasso, levando a um aprendizado lento e opaco. Trabalhos recentes aprimoram o RL com críticas textuais por meio de prompts ou reflexão, melhorando a interpretabilidade, mas deixando os parâmetros do modelo inalterados. Apresentamos o Text2Grad, um paradigma de aprendizado por reforço que transforma feedback textual de forma livre em gradientes em nível de span. Dadas críticas humanas (ou programáticas), o Text2Grad alinha cada frase de feedback com os spans de tokens relevantes, converte esses alinhamentos em sinais de recompensa diferenciáveis e realiza atualizações de gradiente que refinam diretamente as partes problemáticas da política do modelo. Isso resulta em ajustes precisos e condicionados ao feedback, em vez de ajustes globais. O Text2Grad é implementado por meio de três componentes: (1) um pipeline de anotação de feedback de alta qualidade que associa críticas a spans de tokens; (2) um modelo de recompensa refinado que prevê recompensa em nível de span na resposta enquanto gera críticas explicativas; e (3) um otimizador de política em nível de span que retropropaga gradientes em linguagem natural. Em tarefas de sumarização, geração de código e resposta a perguntas, o Text2Grad supera consistentemente o RL com recompensas escalares e baselines baseadas apenas em prompts, oferecendo tanto métricas de tarefa mais altas quanto uma interpretabilidade mais rica. Nossos resultados demonstram que o feedback em linguagem natural, quando convertido em gradientes, é um sinal poderoso para a otimização refinada de políticas. O código do nosso método está disponível em https://github.com/microsoft/Text2Grad.

English

Traditional RLHF optimizes language models with coarse, scalar rewards that mask the fine-grained reasons behind success or failure, leading to slow and opaque learning. Recent work augments RL with textual critiques through prompting or reflection, improving interpretability but leaving model parameters untouched. We introduce Text2Grad, a reinforcement-learning paradigm that turns free-form textual feedback into span-level gradients. Given human (or programmatic) critiques, Text2Grad aligns each feedback phrase with the relevant token spans, converts these alignments into differentiable reward signals, and performs gradient updates that directly refine the offending portions of the model's policy. This yields precise, feedback-conditioned adjustments instead of global nudges. Text2Grad is realized through three components: (1) a high-quality feedback-annotation pipeline that pairs critiques with token spans; (2) a fine-grained reward model that predicts span-level reward on answer while generating explanatory critiques; and (3) a span-level policy optimizer that back-propagates natural-language gradients. Across summarization, code generation, and question answering, Text2Grad consistently surpasses scalar-reward RL and prompt-only baselines, providing both higher task metrics and richer interpretability. Our results demonstrate that natural-language feedback, when converted to gradients, is a powerful signal for fine-grained policy optimization. The code for our method is available at https://github.com/microsoft/Text2Grad