Asesor de Datos: Curación Dinámica de Datos para la Alineación de Seguridad de Modelos de Lenguaje Grandes

Data Advisor: Dynamic Data Curation for Safety Alignment of Large Language Models

October 7, 2024

Autores: Fei Wang, Ninareh Mehrabi, Palash Goyal, Rahul Gupta, Kai-Wei Chang, Aram Galstyan

cs.AI

Resumen

Los datos son un elemento crucial en el alineamiento de modelos de lenguaje grandes (LLM, por sus siglas en inglés). Estudios recientes han explorado el uso de LLMs para una recolección eficiente de datos. Sin embargo, los datos generados por LLM a menudo presentan problemas de calidad, con aspectos subrepresentados o ausentes y puntos de datos de baja calidad. Para abordar estos problemas, proponemos Data Advisor, un método mejorado basado en LLM para la generación de datos que tiene en cuenta las características del conjunto de datos deseado. Comenzando con un conjunto de principios predefinidos, Data Advisor monitorea el estado de los datos generados, identifica debilidades en el conjunto de datos actual y aconseja la siguiente iteración de generación de datos en consecuencia. Data Advisor se puede integrar fácilmente en métodos existentes de generación de datos para mejorar la calidad y cobertura de los datos. Experimentos sobre el alineamiento de seguridad de tres LLMs representativos (es decir, Mistral, Llama2 y Falcon) demuestran la efectividad de Data Advisor en mejorar la seguridad del modelo contra varios problemas de seguridad detallados sin sacrificar la utilidad del modelo.

English

Data is a crucial element in large language model (LLM) alignment. Recent studies have explored using LLMs for efficient data collection. However, LLM-generated data often suffers from quality issues, with underrepresented or absent aspects and low-quality datapoints. To address these problems, we propose Data Advisor, an enhanced LLM-based method for generating data that takes into account the characteristics of the desired dataset. Starting from a set of pre-defined principles in hand, Data Advisor monitors the status of the generated data, identifies weaknesses in the current dataset, and advises the next iteration of data generation accordingly. Data Advisor can be easily integrated into existing data generation methods to enhance data quality and coverage. Experiments on safety alignment of three representative LLMs (i.e., Mistral, Llama2, and Falcon) demonstrate the effectiveness of Data Advisor in enhancing model safety against various fine-grained safety issues without sacrificing model utility.