Consultor de Dados: Curadoria Dinâmica de Dados para Alinhamento de Segurança de Modelos de Linguagem Grandes

Data Advisor: Dynamic Data Curation for Safety Alignment of Large Language Models

October 7, 2024

Autores: Fei Wang, Ninareh Mehrabi, Palash Goyal, Rahul Gupta, Kai-Wei Chang, Aram Galstyan

cs.AI

Resumo

Os dados são um elemento crucial no alinhamento de grandes modelos de linguagem (LLM). Estudos recentes têm explorado o uso de LLMs para coleta eficiente de dados. No entanto, os dados gerados por LLM frequentemente sofrem com problemas de qualidade, com aspectos sub-representados ou ausentes e pontos de dados de baixa qualidade. Para lidar com esses problemas, propomos o Data Advisor, um método aprimorado baseado em LLM para geração de dados que leva em consideração as características do conjunto de dados desejado. Partindo de um conjunto de princípios predefinidos, o Data Advisor monitora o estado dos dados gerados, identifica fraquezas no conjunto de dados atual e aconselha a próxima iteração da geração de dados de acordo. O Data Advisor pode ser facilmente integrado a métodos existentes de geração de dados para aprimorar a qualidade e cobertura dos dados. Experimentos sobre o alinhamento de segurança de três LLMs representativos (ou seja, Mistral, Llama2 e Falcon) demonstram a eficácia do Data Advisor em aprimorar a segurança do modelo contra várias questões de segurança detalhadas sem sacrificar a utilidade do modelo.

English

Data is a crucial element in large language model (LLM) alignment. Recent studies have explored using LLMs for efficient data collection. However, LLM-generated data often suffers from quality issues, with underrepresented or absent aspects and low-quality datapoints. To address these problems, we propose Data Advisor, an enhanced LLM-based method for generating data that takes into account the characteristics of the desired dataset. Starting from a set of pre-defined principles in hand, Data Advisor monitors the status of the generated data, identifies weaknesses in the current dataset, and advises the next iteration of data generation accordingly. Data Advisor can be easily integrated into existing data generation methods to enhance data quality and coverage. Experiments on safety alignment of three representative LLMs (i.e., Mistral, Llama2, and Falcon) demonstrate the effectiveness of Data Advisor in enhancing model safety against various fine-grained safety issues without sacrificing model utility.