Text2Grad: Verstärkungslernen aus natürlichem Sprachfeedback

Text2Grad: Reinforcement Learning from Natural Language Feedback

May 28, 2025

Autoren: Hanyang Wang, Lu Wang, Chaoyun Zhang, Tianjun Mao, Si Qin, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang

cs.AI

Zusammenfassung

Traditionelles RLHF optimiert Sprachmodelle mit groben, skalaren Belohnungen, die die feinkörnigen Gründe für Erfolg oder Misserfolg verdecken, was zu langsamem und undurchsichtigem Lernen führt. Neuere Arbeiten erweitern RL durch textuelle Kritiken mittels Prompting oder Reflexion, was die Interpretierbarkeit verbessert, aber die Modellparameter unverändert lässt. Wir stellen Text2Grad vor, ein Reinforcement-Learning-Paradigma, das freiformulierte textuelle Rückmeldungen in span-basierte Gradienten umwandelt. Bei menschlichen (oder programmatischen) Kritiken aligniert Text2Grad jede Rückmeldungsphrase mit den relevanten Token-Spans, wandelt diese Alignments in differenzierbare Belohnungssignale um und führt Gradientenupdates durch, die direkt die problematischen Teile der Modellpolitik verfeinern. Dies führt zu präzisen, rückmeldungsbedingten Anpassungen anstelle von globalen Korrekturen. Text2Grad wird durch drei Komponenten realisiert: (1) eine hochwertige Feedback-Annotation-Pipeline, die Kritiken mit Token-Spans verknüpft; (2) ein feinkörniges Belohnungsmodell, das span-basierte Belohnungen für Antworten vorhersagt und dabei erklärende Kritiken generiert; und (3) ein span-basierter Politikoptimierer, der natürliche Sprachgradienten zurückpropagiert. In den Bereichen Zusammenfassung, Code-Generierung und Fragebeantwortung übertrifft Text2Grad durchgängig skalare Belohnungs-RL und Prompt-basierte Baseline-Modelle, indem es sowohl höhere Aufgabenmetriken als auch reichere Interpretierbarkeit bietet. Unsere Ergebnisse zeigen, dass natürliche Sprachrückmeldungen, wenn sie in Gradienten umgewandelt werden, ein leistungsstarkes Signal für die feinkörnige Politikoptimierung sind. Der Code für unsere Methode ist verfügbar unter https://github.com/microsoft/Text2Grad.

English

Traditional RLHF optimizes language models with coarse, scalar rewards that mask the fine-grained reasons behind success or failure, leading to slow and opaque learning. Recent work augments RL with textual critiques through prompting or reflection, improving interpretability but leaving model parameters untouched. We introduce Text2Grad, a reinforcement-learning paradigm that turns free-form textual feedback into span-level gradients. Given human (or programmatic) critiques, Text2Grad aligns each feedback phrase with the relevant token spans, converts these alignments into differentiable reward signals, and performs gradient updates that directly refine the offending portions of the model's policy. This yields precise, feedback-conditioned adjustments instead of global nudges. Text2Grad is realized through three components: (1) a high-quality feedback-annotation pipeline that pairs critiques with token spans; (2) a fine-grained reward model that predicts span-level reward on answer while generating explanatory critiques; and (3) a span-level policy optimizer that back-propagates natural-language gradients. Across summarization, code generation, and question answering, Text2Grad consistently surpasses scalar-reward RL and prompt-only baselines, providing both higher task metrics and richer interpretability. Our results demonstrate that natural-language feedback, when converted to gradients, is a powerful signal for fine-grained policy optimization. The code for our method is available at https://github.com/microsoft/Text2Grad