Segmentation de texte et apprentissage de leurs récompenses pour améliorer le RLHF dans les modèles de langage

Segmenting Text and Learning Their Rewards for Improved RLHF in Language Model

January 6, 2025

Auteurs: Yueqin Yin, Shentao Yang, Yujia Xie, Ziyi Yang, Yuting Sun, Hany Awadalla, Weizhu Chen, Mingyuan Zhou

cs.AI

Résumé

L'apprentissage par renforcement à partir des retours humains (RLHF) a été largement adopté pour aligner les modèles de langage (LMs) sur les préférences humaines. Les travaux précédents sur le RLHF prennent généralement une formulation de bandit, qui, bien qu'intuitive, ignore la nature séquentielle de la génération de LM et peut souffrir du problème de récompense rare. Alors que des travaux récents proposent un RLHF dense au niveau du jeton, traiter chaque jeton comme une action peut être trop subtil pour une attribution de récompense adéquate. Dans cet article, nous cherchons à tirer le meilleur parti des deux en formant et en utilisant un modèle de récompense au niveau du segment, qui attribue une récompense à chaque segment de texte sémantiquement complet qui s'étend sur une courte séquence de jetons. Pour l'apprentissage de la récompense, notre méthode permet une segmentation dynamique du texte et est compatible avec les ensembles de données de préférence de séquence standard. Pour un entraînement efficace du LM basé sur le RL par rapport à la récompense de segment, nous généralisons les normalisateurs de récompense de bandit scalaire classiques en fonctions de normalisation conscientes de l'emplacement et interpolons la récompense de segment pour une densification supplémentaire. Avec ces conceptions, notre méthode se comporte de manière compétitive sur trois benchmarks populaires de RLHF pour la politique LM : AlpacaEval 2.0, Arena-Hard et MT-Bench. Des études d'ablation sont menées pour démontrer davantage notre méthode.

English

Reinforcement learning from human feedback (RLHF) has been widely adopted to align language models (LMs) with human preference. Prior RLHF works typically take a bandit formulation, which, though intuitive, ignores the sequential nature of LM generation and can suffer from the sparse reward issue. While recent works propose dense token-level RLHF, treating each token as an action may be oversubtle to proper reward assignment. In this paper, we seek to get the best of both by training and utilizing a segment-level reward model, which assigns a reward to each semantically complete text segment that spans over a short sequence of tokens. For reward learning, our method allows dynamic text segmentation and compatibility with standard sequence-preference datasets. For effective RL-based LM training against segment reward, we generalize the classical scalar bandit reward normalizers into location-aware normalizer functions and interpolate the segment reward for further densification. With these designs, our method performs competitively on three popular RLHF benchmarks for LM policy: AlpacaEval 2.0, Arena-Hard, and MT-Bench. Ablation studies are conducted to further demonstrate our method.