Мета-награждение языковых моделей: самосовершенствующееся выравнивание с LLM в качестве мета-судьи

Meta-Rewarding Language Models: Self-Improving Alignment with LLM-as-a-Meta-Judge

July 28, 2024

Авторы: Tianhao Wu, Weizhe Yuan, Olga Golovneva, Jing Xu, Yuandong Tian, Jiantao Jiao, Jason Weston, Sainbayar Sukhbaatar

cs.AI

Аннотация

Большие языковые модели (LLM) быстро превосходят человеческие знания во многих областях. В то время как улучшение этих моделей традиционно зависит от дорогостоящих данных, недавние механизмы самовознаграждения (Yuan et al., 2024) показали, что LLM могут улучшаться, оценивая свои собственные ответы, вместо полаганиясь на человеческих разметчиков. Однако существующие методы в основном сосредоточены на улучшении ответов модели, а не на способностях оценки, что приводит к быстрой насыщенности во время итеративного обучения. Для решения этой проблемы мы представляем новый шаг Мета-Вознаграждения в процесс самоусовершенствования, где модель оценивает свои собственные оценки и использует эту обратную связь для совершенствования своих навыков оценки. Удивительно, что этот ненадзорный подход улучшает способность модели оценивать {\em и} следовать инструкциям, как продемонстрировано увеличением победного процента Llama-3-8B-Instruct с 22.9% до 39.4% на AlpacaEval 2, и с 20.6% до 29.1% на Arena-Hard. Эти результаты крепко указывают на потенциал для самоусовершенствующихся моделей без человеческого наблюдения.

English

Large Language Models (LLMs) are rapidly surpassing human knowledge in many domains. While improving these models traditionally relies on costly human data, recent self-rewarding mechanisms (Yuan et al., 2024) have shown that LLMs can improve by judging their own responses instead of relying on human labelers. However, existing methods have primarily focused on improving model responses rather than judgment capabilities, resulting in rapid saturation during iterative training. To address this issue, we introduce a novel Meta-Rewarding step to the self-improvement process, where the model judges its own judgements and uses that feedback to refine its judgment skills. Surprisingly, this unsupervised approach improves the model's ability to judge {\em and} follow instructions, as demonstrated by a win rate improvement of Llama-3-8B-Instruct from 22.9% to 39.4% on AlpacaEval 2, and 20.6% to 29.1% on Arena-Hard. These results strongly suggest the potential for self-improving models without human supervision.