Meta-Belohnende Sprachmodelle: Selbstverbessernde Ausrichtung mit LLM als Meta-Richter

Meta-Rewarding Language Models: Self-Improving Alignment with LLM-as-a-Meta-Judge

July 28, 2024

Autoren: Tianhao Wu, Weizhe Yuan, Olga Golovneva, Jing Xu, Yuandong Tian, Jiantao Jiao, Jason Weston, Sainbayar Sukhbaatar

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) übertreffen in vielen Bereichen schnell menschliches Wissen. Während die Verbesserung dieser Modelle traditionell auf kostspieligen menschlichen Daten beruht, haben jüngste selbstbelohnende Mechanismen (Yuan et al., 2024) gezeigt, dass LLMs sich verbessern können, indem sie ihre eigenen Antworten beurteilen, anstatt sich auf menschliche Labeler zu verlassen. Allerdings haben bestehende Methoden hauptsächlich darauf abgezielt, die Modellantworten zu verbessern, anstatt die Beurteilungsfähigkeiten zu entwickeln, was zu einer schnellen Sättigung während des iterativen Trainings führt. Um dieses Problem zu lösen, führen wir einen neuartigen Meta-Belohnungsschritt in den Selbstverbesserungsprozess ein, bei dem das Modell seine eigenen Beurteilungen beurteilt und dieses Feedback verwendet, um seine Beurteilungsfähigkeiten zu verfeinern. Überraschenderweise verbessert dieser unüberwachte Ansatz die Fähigkeit des Modells, Anweisungen zu beurteilen {\em und} zu befolgen, wie durch eine Steigerung der Gewinnrate von Llama-3-8B-Instruct von 22,9% auf 39,4% bei AlpacaEval 2 und von 20,6% auf 29,1% bei Arena-Hard gezeigt wird. Diese Ergebnisse legen nahe, dass das Potenzial für selbstverbessernde Modelle ohne menschliche Aufsicht stark ist.

English

Large Language Models (LLMs) are rapidly surpassing human knowledge in many domains. While improving these models traditionally relies on costly human data, recent self-rewarding mechanisms (Yuan et al., 2024) have shown that LLMs can improve by judging their own responses instead of relying on human labelers. However, existing methods have primarily focused on improving model responses rather than judgment capabilities, resulting in rapid saturation during iterative training. To address this issue, we introduce a novel Meta-Rewarding step to the self-improvement process, where the model judges its own judgements and uses that feedback to refine its judgment skills. Surprisingly, this unsupervised approach improves the model's ability to judge {\em and} follow instructions, as demonstrated by a win rate improvement of Llama-3-8B-Instruct from 22.9% to 39.4% on AlpacaEval 2, and 20.6% to 29.1% on Arena-Hard. These results strongly suggest the potential for self-improving models without human supervision.