Сегментация текста и изучение их вознаграждений для улучшения RLHF в языковой модели

Segmenting Text and Learning Their Rewards for Improved RLHF in Language Model

January 6, 2025

Авторы: Yueqin Yin, Shentao Yang, Yujia Xie, Ziyi Yang, Yuting Sun, Hany Awadalla, Weizhu Chen, Mingyuan Zhou

cs.AI

Аннотация

Обучение с подкреплением на основе обратной связи от человека (RLHF) широко используется для согласования языковых моделей (LMs) с предпочтениями человека. Работы по RLHF ранее обычно применяли бандитскую формулировку, которая, хотя и интуитивно понятна, игнорирует последовательную природу генерации LM и может столкнуться с проблемой разреженного вознаграждения. В то время как недавние работы предлагают плотное обучение RLHF на уровне токенов, обработка каждого токена как действия может быть излишне тонкой для правильного назначения вознаграждения. В данной статье мы стремимся объединить лучшее из обоих подходов, обучая и используя модель вознаграждения на уровне сегмента, которая назначает вознаграждение каждому семантически завершенному текстовому сегменту, охватывающему короткую последовательность токенов. Для обучения вознаграждения наш метод позволяет динамическую сегментацию текста и совместим с обычными наборами данных предпочтений последовательности. Для эффективного обучения LM на основе RL против сегментного вознаграждения мы обобщаем классические нормализаторы вознаграждения бандита скаляра в функции нормализаторов, учитывающих местоположение, и интерполируем сегментное вознаграждение для дальнейшего уплотнения. С учетом этих концепций наш метод демонстрирует конкурентоспособные результаты на трех популярных бенчмарках RLHF для политики LM: AlpacaEval 2.0, Arena-Hard и MT-Bench. Проведены исследования по абляции для дальнейшего демонстрирования нашего метода.

English

Reinforcement learning from human feedback (RLHF) has been widely adopted to align language models (LMs) with human preference. Prior RLHF works typically take a bandit formulation, which, though intuitive, ignores the sequential nature of LM generation and can suffer from the sparse reward issue. While recent works propose dense token-level RLHF, treating each token as an action may be oversubtle to proper reward assignment. In this paper, we seek to get the best of both by training and utilizing a segment-level reward model, which assigns a reward to each semantically complete text segment that spans over a short sequence of tokens. For reward learning, our method allows dynamic text segmentation and compatibility with standard sequence-preference datasets. For effective RL-based LM training against segment reward, we generalize the classical scalar bandit reward normalizers into location-aware normalizer functions and interpolate the segment reward for further densification. With these designs, our method performs competitively on three popular RLHF benchmarks for LM policy: AlpacaEval 2.0, Arena-Hard, and MT-Bench. Ablation studies are conducted to further demonstrate our method.