Consulente dei Dati: Cura Dinamica dei Dati per l'Allineamento della Sicurezza dei Grandi Modelli Linguistici

Data Advisor: Dynamic Data Curation for Safety Alignment of Large Language Models

October 7, 2024

Autori: Fei Wang, Ninareh Mehrabi, Palash Goyal, Rahul Gupta, Kai-Wei Chang, Aram Galstyan

cs.AI

Abstract

I dati sono un elemento cruciale nell'allineamento dei grandi modelli linguistici (LLM). Studi recenti hanno esplorato l'uso di LLM per una raccolta dati efficiente. Tuttavia, i dati generati dai LLM spesso presentano problemi di qualità, con aspetti sottorappresentati o assenti e punti dati di bassa qualità. Per affrontare questi problemi, proponiamo Data Advisor, un metodo potenziato basato su LLM per generare dati che tenga conto delle caratteristiche dell'insieme di dati desiderato. Partendo da un insieme di principi predefiniti, Data Advisor monitora lo stato dei dati generati, identifica le debolezze nel dataset attuale e consiglia di conseguenza la prossima iterazione della generazione dei dati. Data Advisor può essere facilmente integrato nei metodi esistenti di generazione dei dati per migliorare la qualità e la copertura dei dati. Gli esperimenti sull'allineamento della sicurezza di tre rappresentativi LLM (ossia, Mistral, Llama2 e Falcon) dimostrano l'efficacia di Data Advisor nel migliorare la sicurezza del modello contro vari problemi di sicurezza dettagliati senza sacrificare l'utilità del modello.

English

Data is a crucial element in large language model (LLM) alignment. Recent studies have explored using LLMs for efficient data collection. However, LLM-generated data often suffers from quality issues, with underrepresented or absent aspects and low-quality datapoints. To address these problems, we propose Data Advisor, an enhanced LLM-based method for generating data that takes into account the characteristics of the desired dataset. Starting from a set of pre-defined principles in hand, Data Advisor monitors the status of the generated data, identifies weaknesses in the current dataset, and advises the next iteration of data generation accordingly. Data Advisor can be easily integrated into existing data generation methods to enhance data quality and coverage. Experiments on safety alignment of three representative LLMs (i.e., Mistral, Llama2, and Falcon) demonstrate the effectiveness of Data Advisor in enhancing model safety against various fine-grained safety issues without sacrificing model utility.