Text2Grad: Aprendizaje por Refuerzo a partir de Retroalimentación en Lenguaje Natural

Text2Grad: Reinforcement Learning from Natural Language Feedback

May 28, 2025

Autores: Hanyang Wang, Lu Wang, Chaoyun Zhang, Tianjun Mao, Si Qin, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang

cs.AI

Resumen

El RLHF tradicional optimiza los modelos de lenguaje con recompensas escalares y poco detalladas que ocultan las razones específicas detrás del éxito o el fracaso, lo que resulta en un aprendizaje lento y opaco. Trabajos recientes han mejorado el RL mediante críticas textuales a través de indicaciones o reflexiones, aumentando la interpretabilidad pero sin modificar los parámetros del modelo. Presentamos Text2Grad, un paradigma de aprendizaje por refuerzo que convierte comentarios textuales en gradientes a nivel de segmentos. Dadas críticas humanas (o programáticas), Text2Grad alinea cada frase de retroalimentación con los segmentos de tokens relevantes, convierte estas alineaciones en señales de recompensa diferenciables y realiza actualizaciones de gradientes que refinan directamente las partes problemáticas de la política del modelo. Esto produce ajustes precisos y condicionados por la retroalimentación, en lugar de modificaciones globales. Text2Grad se implementa mediante tres componentes: (1) una canalización de anotación de retroalimentación de alta calidad que empareja críticas con segmentos de tokens; (2) un modelo de recompensa detallado que predice la recompensa a nivel de segmentos en las respuestas mientras genera críticas explicativas; y (3) un optimizador de políticas a nivel de segmentos que propaga gradientes en lenguaje natural. En tareas de resumen, generación de código y respuesta a preguntas, Text2Grad supera consistentemente al RL con recompensas escalares y a los enfoques basados únicamente en indicaciones, ofreciendo tanto métricas de tarea más altas como una mayor interpretabilidad. Nuestros resultados demuestran que la retroalimentación en lenguaje natural, cuando se convierte en gradientes, es una señal poderosa para la optimización detallada de políticas. El código de nuestro método está disponible en https://github.com/microsoft/Text2Grad.

English

Traditional RLHF optimizes language models with coarse, scalar rewards that mask the fine-grained reasons behind success or failure, leading to slow and opaque learning. Recent work augments RL with textual critiques through prompting or reflection, improving interpretability but leaving model parameters untouched. We introduce Text2Grad, a reinforcement-learning paradigm that turns free-form textual feedback into span-level gradients. Given human (or programmatic) critiques, Text2Grad aligns each feedback phrase with the relevant token spans, converts these alignments into differentiable reward signals, and performs gradient updates that directly refine the offending portions of the model's policy. This yields precise, feedback-conditioned adjustments instead of global nudges. Text2Grad is realized through three components: (1) a high-quality feedback-annotation pipeline that pairs critiques with token spans; (2) a fine-grained reward model that predicts span-level reward on answer while generating explanatory critiques; and (3) a span-level policy optimizer that back-propagates natural-language gradients. Across summarization, code generation, and question answering, Text2Grad consistently surpasses scalar-reward RL and prompt-only baselines, providing both higher task metrics and richer interpretability. Our results demonstrate that natural-language feedback, when converted to gradients, is a powerful signal for fine-grained policy optimization. The code for our method is available at https://github.com/microsoft/Text2Grad