Recuperação de Dados após Mascaramento Preservador de Privacidade com Modelos de Linguagem de Grande Escala

Recovering from Privacy-Preserving Masking with Large Language Models

September 12, 2023

Autores: Arpita Vats, Zhe Liu, Peng Su, Debjyoti Paul, Yingyi Ma, Yutong Pang, Zeeshan Ahmed, Ozlem Kalinli

cs.AI

Resumo

A adaptação de modelos é crucial para lidar com a discrepância entre os dados de treinamento proxy e os dados reais dos usuários recebidos. Para realizar a adaptação de forma eficaz, os dados textuais dos usuários são normalmente armazenados em servidores ou em seus dispositivos locais, onde modelos de processamento de linguagem natural (PLN) podem ser treinados diretamente usando esses dados do domínio específico. No entanto, isso pode levantar preocupações de privacidade e segurança devido aos riscos adicionais de expor informações dos usuários a adversários. A substituição de informações identificáveis em dados textuais por marcadores genéricos tem sido explorada recentemente. Neste trabalho, aproveitamos grandes modelos de linguagem (LLMs) para sugerir substitutos de tokens mascarados e avaliamos sua eficácia em tarefas de modelagem de linguagem. Especificamente, propomos múltiplas abordagens baseadas em LLMs pré-treinados e ajustados e realizamos estudos empíricos em diversos conjuntos de dados para comparar esses métodos. Os resultados experimentais mostram que os modelos treinados em corpora ofuscados são capazes de alcançar desempenho comparável aos treinados nos dados originais sem a preservação de privacidade por meio do mascaramento de tokens.

English

Model adaptation is crucial to handle the discrepancy between proxy training data and actual users data received. To effectively perform adaptation, textual data of users is typically stored on servers or their local devices, where downstream natural language processing (NLP) models can be directly trained using such in-domain data. However, this might raise privacy and security concerns due to the extra risks of exposing user information to adversaries. Replacing identifying information in textual data with a generic marker has been recently explored. In this work, we leverage large language models (LLMs) to suggest substitutes of masked tokens and have their effectiveness evaluated on downstream language modeling tasks. Specifically, we propose multiple pre-trained and fine-tuned LLM-based approaches and perform empirical studies on various datasets for the comparison of these methods. Experimental results show that models trained on the obfuscation corpora are able to achieve comparable performance with the ones trained on the original data without privacy-preserving token masking.