Text2Grad: Обучение с подкреплением на основе обратной связи на естественном языке

Text2Grad: Reinforcement Learning from Natural Language Feedback

May 28, 2025

Авторы: Hanyang Wang, Lu Wang, Chaoyun Zhang, Tianjun Mao, Si Qin, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang

cs.AI

Аннотация

Традиционный RLHF оптимизирует языковые модели с помощью грубых, скалярных вознаграждений, которые скрывают детальные причины успеха или неудачи, что приводит к медленному и непрозрачному обучению. Недавние работы дополняют RL текстовыми критиками через промптинг или рефлексию, улучшая интерпретируемость, но оставляя параметры модели неизменными. Мы представляем Text2Grad, парадигму обучения с подкреплением, которая преобразует свободный текстовый фидбэк в градиенты на уровне токенов. Получая человеческие (или программные) критические замечания, Text2Grad связывает каждую фразу фидбэка с соответствующими токенами, преобразует эти связи в дифференцируемые сигналы вознаграждения и выполняет обновления градиентов, которые напрямую улучшают проблемные части политики модели. Это позволяет осуществлять точные, обусловленные фидбэком корректировки вместо глобальных изменений. Text2Grad реализован через три компонента: (1) высококачественный конвейер аннотации фидбэка, который связывает критические замечания с токенами; (2) детализированная модель вознаграждения, которая предсказывает вознаграждение на уровне токенов при генерации объяснительных критических замечаний; и (3) оптимизатор политики на уровне токенов, который распространяет градиенты естественного языка обратно. В задачах суммаризации, генерации кода и ответов на вопросы Text2Grad последовательно превосходит RL со скалярными вознаграждениями и базовые подходы, основанные только на промптах, обеспечивая как более высокие метрики задач, так и более богатую интерпретируемость. Наши результаты демонстрируют, что фидбэк на естественном языке, преобразованный в градиенты, является мощным сигналом для детализированной оптимизации политики. Код нашего метода доступен по адресу https://github.com/microsoft/Text2Grad.

English

Traditional RLHF optimizes language models with coarse, scalar rewards that mask the fine-grained reasons behind success or failure, leading to slow and opaque learning. Recent work augments RL with textual critiques through prompting or reflection, improving interpretability but leaving model parameters untouched. We introduce Text2Grad, a reinforcement-learning paradigm that turns free-form textual feedback into span-level gradients. Given human (or programmatic) critiques, Text2Grad aligns each feedback phrase with the relevant token spans, converts these alignments into differentiable reward signals, and performs gradient updates that directly refine the offending portions of the model's policy. This yields precise, feedback-conditioned adjustments instead of global nudges. Text2Grad is realized through three components: (1) a high-quality feedback-annotation pipeline that pairs critiques with token spans; (2) a fine-grained reward model that predicts span-level reward on answer while generating explanatory critiques; and (3) a span-level policy optimizer that back-propagates natural-language gradients. Across summarization, code generation, and question answering, Text2Grad consistently surpasses scalar-reward RL and prompt-only baselines, providing both higher task metrics and richer interpretability. Our results demonstrate that natural-language feedback, when converted to gradients, is a powerful signal for fine-grained policy optimization. The code for our method is available at https://github.com/microsoft/Text2Grad