Data Adviseur: Dynamische Gegevenscuratie voor Veiligheidsafstemming van Grote Taalmodellen

Data Advisor: Dynamic Data Curation for Safety Alignment of Large Language Models

October 7, 2024

Auteurs: Fei Wang, Ninareh Mehrabi, Palash Goyal, Rahul Gupta, Kai-Wei Chang, Aram Galstyan

cs.AI

Samenvatting

Data is een cruciaal element in de afstemming van grote taalmodellen (LLM). Recente studies hebben onderzocht hoe LLM's kunnen worden gebruikt voor efficiënte gegevensverzameling. Echter, door LLM gegenereerde gegevens hebben vaak te kampen met kwaliteitsproblemen, met ondervertegenwoordigde of afwezige aspecten en datapunten van lage kwaliteit. Om deze problemen aan te pakken, stellen we Data Advisor voor, een verbeterde op LLM gebaseerde methode voor het genereren van gegevens die rekening houdt met de kenmerken van het gewenste dataset. Vertrekkend van een set vooraf gedefinieerde principes, monitort Data Advisor de status van de gegenereerde gegevens, identificeert zwakke punten in de huidige dataset en adviseert dienovereenkomstig de volgende iteratie van gegevensgeneratie. Data Advisor kan eenvoudig worden geïntegreerd in bestaande methoden voor gegevensgeneratie om de kwaliteit en de dekking van de gegevens te verbeteren. Experimenten over veiligheidsafstemming van drie representatieve LLM's (bijv. Mistral, Llama2 en Falcon) tonen de effectiviteit van Data Advisor aan bij het verbeteren van de modelveiligheid tegen verschillende fijnmazige veiligheidsproblemen zonder het modelgebruik op te offeren.

English

Data is a crucial element in large language model (LLM) alignment. Recent studies have explored using LLMs for efficient data collection. However, LLM-generated data often suffers from quality issues, with underrepresented or absent aspects and low-quality datapoints. To address these problems, we propose Data Advisor, an enhanced LLM-based method for generating data that takes into account the characteristics of the desired dataset. Starting from a set of pre-defined principles in hand, Data Advisor monitors the status of the generated data, identifies weaknesses in the current dataset, and advises the next iteration of data generation accordingly. Data Advisor can be easily integrated into existing data generation methods to enhance data quality and coverage. Experiments on safety alignment of three representative LLMs (i.e., Mistral, Llama2, and Falcon) demonstrate the effectiveness of Data Advisor in enhancing model safety against various fine-grained safety issues without sacrificing model utility.