Magpie : Synthèse de données d'alignement à partir de zéro en incitant des LLM alignés sans aucun contexte

Magpie: Alignment Data Synthesis from Scratch by Prompting Aligned LLMs with Nothing

June 12, 2024

Auteurs: Zhangchen Xu, Fengqing Jiang, Luyao Niu, Yuntian Deng, Radha Poovendran, Yejin Choi, Bill Yuchen Lin

cs.AI

Résumé

Des données d'instruction de haute qualité sont essentielles pour aligner les grands modèles de langage (LLM). Bien que certains modèles, comme Llama-3-Instruct, aient des poids ouverts, leurs données d'alignement restent privées, ce qui entrave la démocratisation de l'IA. Les coûts élevés en main-d'œuvre humaine et un champ d'incitation limité et prédéfini empêchent les méthodes existantes de création de données open source de s'étendre efficacement, limitant potentiellement la diversité et la qualité des ensembles de données d'alignement publics. Est-il possible de synthétiser des données d'instruction de haute qualité à grande échelle en les extrayant directement d'un LLM aligné ? Nous présentons une méthode d'auto-synthèse pour générer des données d'alignement à grande échelle, nommée Magpie. Notre observation clé est que les LLM alignés comme Llama-3-Instruct peuvent générer une requête utilisateur lorsque nous entrons uniquement les modèles de gauche jusqu'à la position réservée aux messages utilisateur, grâce à leur nature auto-régressive. Nous utilisons cette méthode pour inciter Llama-3-Instruct et générer 4 millions d'instructions ainsi que leurs réponses correspondantes. Nous effectuons une analyse approfondie des données extraites et sélectionnons 300 000 instances de haute qualité. Pour comparer les données de Magpie avec d'autres ensembles de données d'instruction publics, nous affinons Llama-3-8B-Base avec chaque ensemble de données et évaluons les performances des modèles affinés. Nos résultats indiquent que dans certaines tâches, les modèles affinés avec Magpie performent de manière comparable au Llama-3-8B-Instruct officiel, bien que ce dernier ait été amélioré avec 10 millions de points de données grâce à un affinage supervisé (SFT) et un apprentissage par feedback ultérieur. Nous montrons également que l'utilisation de Magpie uniquement pour le SFT peut surpasser les performances des ensembles de données publics précédents utilisés à la fois pour le SFT et l'optimisation des préférences, comme l'optimisation directe des préférences avec UltraFeedback. Cet avantage est évident sur les benchmarks d'alignement tels qu'AlpacaEval, ArenaHard et WildBench.

English

High-quality instruction data is critical for aligning large language models (LLMs). Although some models, such as Llama-3-Instruct, have open weights, their alignment data remain private, which hinders the democratization of AI. High human labor costs and a limited, predefined scope for prompting prevent existing open-source data creation methods from scaling effectively, potentially limiting the diversity and quality of public alignment datasets. Is it possible to synthesize high-quality instruction data at scale by extracting it directly from an aligned LLM? We present a self-synthesis method for generating large-scale alignment data named Magpie. Our key observation is that aligned LLMs like Llama-3-Instruct can generate a user query when we input only the left-side templates up to the position reserved for user messages, thanks to their auto-regressive nature. We use this method to prompt Llama-3-Instruct and generate 4 million instructions along with their corresponding responses. We perform a comprehensive analysis of the extracted data and select 300K high-quality instances. To compare Magpie data with other public instruction datasets, we fine-tune Llama-3-8B-Base with each dataset and evaluate the performance of the fine-tuned models. Our results indicate that in some tasks, models fine-tuned with Magpie perform comparably to the official Llama-3-8B-Instruct, despite the latter being enhanced with 10 million data points through supervised fine-tuning (SFT) and subsequent feedback learning. We also show that using Magpie solely for SFT can surpass the performance of previous public datasets utilized for both SFT and preference optimization, such as direct preference optimization with UltraFeedback. This advantage is evident on alignment benchmarks such as AlpacaEval, ArenaHard, and WildBench.