Text2Grad: 自然言語フィードバックからの強化学習

Text2Grad: Reinforcement Learning from Natural Language Feedback

May 28, 2025

著者: Hanyang Wang, Lu Wang, Chaoyun Zhang, Tianjun Mao, Si Qin, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang

cs.AI

要旨

従来のRLHF（Reinforcement Learning from Human Feedback）は、成功や失敗の背後にある詳細な理由を隠してしまう粗いスカラー報酬を用いて言語モデルを最適化するため、学習が遅く不透明なものとなっていました。最近の研究では、プロンプトやリフレクションを通じてテキスト批評をRLに組み込むことで解釈可能性を向上させていますが、モデルのパラメータ自体は変更されていません。本論文では、自由形式のテキストフィードバックをスパンレベルの勾配に変換する強化学習パラダイムであるText2Gradを紹介します。Text2Gradは、人間（またはプログラムによる）の批評を受け取り、各フィードバックフレーズを関連するトークンスパンにアライメントし、これらのアライメントを微分可能な報酬信号に変換し、モデルのポリシーの問題部分を直接改善する勾配更新を実行します。これにより、全体的な調整ではなく、フィードバックに基づいた精密な調整が可能になります。Text2Gradは、以下の3つのコンポーネントを通じて実現されます：(1) 批評とトークンスパンをペアリングする高品質なフィードバックアノテーションパイプライン、(2) 説明付きの批評を生成しながらスパンレベルの報酬を予測する細粒度報酬モデル、(3) 自然言語勾配を逆伝播するスパンレベルポリシー最適化器。要約、コード生成、質問応答のタスクにおいて、Text2Gradはスカラー報酬RLやプロンプトのみのベースラインを一貫して上回り、より高いタスク指標と豊かな解釈可能性を提供します。我々の結果は、自然言語フィードバックが勾配に変換されるとき、細粒度のポリシー最適化のための強力な信号となることを示しています。本手法のコードはhttps://github.com/microsoft/Text2Gradで公開されています。

English

Traditional RLHF optimizes language models with coarse, scalar rewards that mask the fine-grained reasons behind success or failure, leading to slow and opaque learning. Recent work augments RL with textual critiques through prompting or reflection, improving interpretability but leaving model parameters untouched. We introduce Text2Grad, a reinforcement-learning paradigm that turns free-form textual feedback into span-level gradients. Given human (or programmatic) critiques, Text2Grad aligns each feedback phrase with the relevant token spans, converts these alignments into differentiable reward signals, and performs gradient updates that directly refine the offending portions of the model's policy. This yields precise, feedback-conditioned adjustments instead of global nudges. Text2Grad is realized through three components: (1) a high-quality feedback-annotation pipeline that pairs critiques with token spans; (2) a fine-grained reward model that predicts span-level reward on answer while generating explanatory critiques; and (3) a span-level policy optimizer that back-propagates natural-language gradients. Across summarization, code generation, and question answering, Text2Grad consistently surpasses scalar-reward RL and prompt-only baselines, providing both higher task metrics and richer interpretability. Our results demonstrate that natural-language feedback, when converted to gradients, is a powerful signal for fine-grained policy optimization. The code for our method is available at https://github.com/microsoft/Text2Grad