Méta-Récompense pour les Modèles de Langage : Auto-Amélioration de l'Alignement avec un LLM en tant que Méta-Juge

Meta-Rewarding Language Models: Self-Improving Alignment with LLM-as-a-Meta-Judge

July 28, 2024

Auteurs: Tianhao Wu, Weizhe Yuan, Olga Golovneva, Jing Xu, Yuandong Tian, Jiantao Jiao, Jason Weston, Sainbayar Sukhbaatar

cs.AI

Résumé

Les grands modèles de langage (LLMs) surpassent rapidement les connaissances humaines dans de nombreux domaines. Alors que l'amélioration de ces modèles repose traditionnellement sur des données humaines coûteuses, des mécanismes d'auto-récompense récents (Yuan et al., 2024) ont montré que les LLMs peuvent s'améliorer en évaluant leurs propres réponses plutôt qu'en dépendant d'annotateurs humains. Cependant, les méthodes existantes se sont principalement concentrées sur l'amélioration des réponses du modèle plutôt que sur ses capacités de jugement, entraînant une saturation rapide lors de l'entraînement itératif. Pour résoudre ce problème, nous introduisons une nouvelle étape de Méta-Récompense dans le processus d'auto-amélioration, où le modèle évalue ses propres jugements et utilise ce retour pour affiner ses compétences d'évaluation. Étonnamment, cette approche non supervisée améliore la capacité du modèle à juger {\em et} à suivre les instructions, comme en témoigne une augmentation du taux de victoire de Llama-3-8B-Instruct de 22,9 % à 39,4 % sur AlpacaEval 2, et de 20,6 % à 29,1 % sur Arena-Hard. Ces résultats suggèrent fortement le potentiel des modèles auto-améliorants sans supervision humaine.

English

Large Language Models (LLMs) are rapidly surpassing human knowledge in many domains. While improving these models traditionally relies on costly human data, recent self-rewarding mechanisms (Yuan et al., 2024) have shown that LLMs can improve by judging their own responses instead of relying on human labelers. However, existing methods have primarily focused on improving model responses rather than judgment capabilities, resulting in rapid saturation during iterative training. To address this issue, we introduce a novel Meta-Rewarding step to the self-improvement process, where the model judges its own judgements and uses that feedback to refine its judgment skills. Surprisingly, this unsupervised approach improves the model's ability to judge {\em and} follow instructions, as demonstrated by a win rate improvement of Llama-3-8B-Instruct from 22.9% to 39.4% on AlpacaEval 2, and 20.6% to 29.1% on Arena-Hard. These results strongly suggest the potential for self-improving models without human supervision.