Text2Grad : Apprentissage par Renforcement à partir de Retours en Langage Naturel

Text2Grad: Reinforcement Learning from Natural Language Feedback

May 28, 2025

Auteurs: Hanyang Wang, Lu Wang, Chaoyun Zhang, Tianjun Mao, Si Qin, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang

cs.AI

Résumé

Le RLHF traditionnel optimise les modèles de langage avec des récompenses scalaires grossières qui masquent les raisons détaillées derrière les succès ou les échecs, conduisant à un apprentissage lent et opaque. Des travaux récents enrichissent le RL avec des critiques textuelles via des incitations ou des réflexions, améliorant l'interprétabilité mais laissant les paramètres du modèle inchangés. Nous introduisons Text2Grad, un paradigme d'apprentissage par renforcement qui transforme les retours textuels libres en gradients au niveau des segments. Étant donné des critiques humaines (ou programmatiques), Text2Grad aligne chaque phrase de retour avec les segments de tokens pertinents, convertit ces alignements en signaux de récompense différentiables, et effectue des mises à jour de gradient qui affinent directement les portions problématiques de la politique du modèle. Cela produit des ajustements précis et conditionnés par les retours plutôt que des ajustements globaux. Text2Grad est réalisé à travers trois composants : (1) un pipeline d'annotation de retours de haute qualité qui associe les critiques aux segments de tokens ; (2) un modèle de récompense granulaire qui prédit la récompense au niveau des segments tout en générant des critiques explicatives ; et (3) un optimiseur de politique au niveau des segments qui rétropropage les gradients en langage naturel. Sur des tâches de résumé, de génération de code et de réponse à des questions, Text2Grad surpasse systématiquement le RL à récompense scalaire et les bases de référence basées uniquement sur des incitations, offrant à la fois des métriques de tâche plus élevées et une interprétabilité plus riche. Nos résultats démontrent que les retours en langage naturel, lorsqu'ils sont convertis en gradients, constituent un signal puissant pour l'optimisation granulaire des politiques. Le code de notre méthode est disponible à l'adresse https://github.com/microsoft/Text2Grad.

English

Traditional RLHF optimizes language models with coarse, scalar rewards that mask the fine-grained reasons behind success or failure, leading to slow and opaque learning. Recent work augments RL with textual critiques through prompting or reflection, improving interpretability but leaving model parameters untouched. We introduce Text2Grad, a reinforcement-learning paradigm that turns free-form textual feedback into span-level gradients. Given human (or programmatic) critiques, Text2Grad aligns each feedback phrase with the relevant token spans, converts these alignments into differentiable reward signals, and performs gradient updates that directly refine the offending portions of the model's policy. This yields precise, feedback-conditioned adjustments instead of global nudges. Text2Grad is realized through three components: (1) a high-quality feedback-annotation pipeline that pairs critiques with token spans; (2) a fine-grained reward model that predicts span-level reward on answer while generating explanatory critiques; and (3) a span-level policy optimizer that back-propagates natural-language gradients. Across summarization, code generation, and question answering, Text2Grad consistently surpasses scalar-reward RL and prompt-only baselines, providing both higher task metrics and richer interpretability. Our results demonstrate that natural-language feedback, when converted to gradients, is a powerful signal for fine-grained policy optimization. The code for our method is available at https://github.com/microsoft/Text2Grad