Segmentierung von Text und Erlernen ihrer Belohnungen zur Verbesserung von RLHF in Sprachmodellen

Segmenting Text and Learning Their Rewards for Improved RLHF in Language Model

January 6, 2025

Autoren: Yueqin Yin, Shentao Yang, Yujia Xie, Ziyi Yang, Yuting Sun, Hany Awadalla, Weizhu Chen, Mingyuan Zhou

cs.AI

Zusammenfassung

Die Verstärkungslernmethode aus menschlichem Feedback (RLHF) wurde weit verbreitet übernommen, um Sprachmodelle (LMs) mit menschlichen Präferenzen abzustimmen. Frühere RLHF-Arbeiten verwenden typischerweise eine Bandit-Formulierung, die zwar intuitiv ist, aber die sequenzielle Natur der LM-Generierung ignoriert und unter dem Problem der spärlichen Belohnung leiden kann. Während neuere Arbeiten eine dichte Token-Ebene RLHF vorschlagen, kann die Behandlung jedes Tokens als Aktion zu einer zu subtilen Zuweisung angemessener Belohnungen führen. In diesem Paper versuchen wir, das Beste aus beiden Welten zu vereinen, indem wir ein Segment-Ebenen-Belohnungsmodell trainieren und nutzen, das jeder semantisch vollständigen Textsegment eine Belohnung zuweist, das über eine kurze Sequenz von Tokens reicht. Für das Belohnungslernen ermöglicht unsere Methode eine dynamische Textsegmentierung und ist kompatibel mit gängigen Sequenzpräferenz-Datensätzen. Für ein effektives RL-basiertes LM-Training gegen Segmentbelohnung generalisieren wir die klassischen skalaren Bandit-Belohnungsnormierer in ortsbezogene Normierungsfunktionen und interpolieren die Segmentbelohnung zur weiteren Verdichtung. Mit diesen Entwürfen erzielt unsere Methode eine wettbewerbsfähige Leistung bei drei beliebten RLHF-Benchmarks für LM-Richtlinien: AlpacaEval 2.0, Arena-Hard und MT-Bench. Ablationsstudien werden durchgeführt, um unsere Methode weiter zu demonstrieren.

English

Reinforcement learning from human feedback (RLHF) has been widely adopted to align language models (LMs) with human preference. Prior RLHF works typically take a bandit formulation, which, though intuitive, ignores the sequential nature of LM generation and can suffer from the sparse reward issue. While recent works propose dense token-level RLHF, treating each token as an action may be oversubtle to proper reward assignment. In this paper, we seek to get the best of both by training and utilizing a segment-level reward model, which assigns a reward to each semantically complete text segment that spans over a short sequence of tokens. For reward learning, our method allows dynamic text segmentation and compatibility with standard sequence-preference datasets. For effective RL-based LM training against segment reward, we generalize the classical scalar bandit reward normalizers into location-aware normalizer functions and interpolate the segment reward for further densification. With these designs, our method performs competitively on three popular RLHF benchmarks for LM policy: AlpacaEval 2.0, Arena-Hard, and MT-Bench. Ablation studies are conducted to further demonstrate our method.