Conseiller en Données : Curatelle Dynamique des Données pour l'Alignement de la Sécurité des Grands Modèles de Langage

Data Advisor: Dynamic Data Curation for Safety Alignment of Large Language Models

October 7, 2024

Auteurs: Fei Wang, Ninareh Mehrabi, Palash Goyal, Rahul Gupta, Kai-Wei Chang, Aram Galstyan

cs.AI

Résumé

Les données sont un élément crucial dans l'alignement des grands modèles de langage (GML). Des études récentes ont exploré l'utilisation des GML pour la collecte efficace de données. Cependant, les données générées par les GML souffrent souvent de problèmes de qualité, avec des aspects sous-représentés ou absents et des points de données de faible qualité. Pour résoudre ces problèmes, nous proposons Data Advisor, une méthode améliorée basée sur les GML pour la génération de données qui prend en compte les caractéristiques de l'ensemble de données souhaité. À partir d'un ensemble de principes prédéfinis, Data Advisor surveille l'état des données générées, identifie les faiblesses dans l'ensemble de données actuel et conseille en conséquence la prochaine itération de génération de données. Data Advisor peut être facilement intégré dans les méthodes de génération de données existantes pour améliorer la qualité et la couverture des données. Des expériences sur l'alignement de sécurité de trois GML représentatifs (c'est-à-dire Mistral, Llama2 et Falcon) démontrent l'efficacité de Data Advisor dans l'amélioration de la sécurité du modèle contre divers problèmes de sécurité détaillés sans sacrifier l'utilité du modèle.

English

Data is a crucial element in large language model (LLM) alignment. Recent studies have explored using LLMs for efficient data collection. However, LLM-generated data often suffers from quality issues, with underrepresented or absent aspects and low-quality datapoints. To address these problems, we propose Data Advisor, an enhanced LLM-based method for generating data that takes into account the characteristics of the desired dataset. Starting from a set of pre-defined principles in hand, Data Advisor monitors the status of the generated data, identifies weaknesses in the current dataset, and advises the next iteration of data generation accordingly. Data Advisor can be easily integrated into existing data generation methods to enhance data quality and coverage. Experiments on safety alignment of three representative LLMs (i.e., Mistral, Llama2, and Falcon) demonstrate the effectiveness of Data Advisor in enhancing model safety against various fine-grained safety issues without sacrificing model utility.