Medição da memorização através da extração probabilística descoberta.

Measuring memorization through probabilistic discoverable extraction

October 25, 2024

Autores: Jamie Hayes, Marika Swanberg, Harsh Chaudhari, Itay Yona, Ilia Shumailov

cs.AI

Resumo

Os grandes modelos de linguagem (LLMs) são suscetíveis a memorizar dados de treinamento, levantando preocupações devido à possível extração de informações sensíveis. Os métodos atuais para medir as taxas de memorização de LLMs, principalmente extração descobrível (Carlini et al., 2022), baseiam-se em amostragem gananciosa de sequência única, potencialmente subestimando a verdadeira extensão da memorização. Este artigo introduz uma relaxação probabilística da extração descobrível que quantifica a probabilidade de extrair uma sequência-alvo dentro de um conjunto de amostras geradas, considerando vários esquemas de amostragem e múltiplas tentativas. Esta abordagem aborda as limitações de relatar taxas de memorização por meio da extração descobrível, levando em conta a natureza probabilística dos LLMs e padrões de interação do usuário. Nossos experimentos demonstram que essa medida probabilística pode revelar casos de taxas de memorização mais altas em comparação com as taxas encontradas por meio da extração descobrível. Investigamos ainda o impacto de diferentes esquemas de amostragem na extração, fornecendo uma avaliação mais abrangente e realista da memorização de LLM e seus riscos associados. Nossas contribuições incluem uma nova definição probabilística de memorização, evidências empíricas de sua eficácia e uma avaliação minuciosa em diferentes modelos, tamanhos, esquemas de amostragem e repetições de dados de treinamento.

English

Large language models (LLMs) are susceptible to memorizing training data, raising concerns due to the potential extraction of sensitive information. Current methods to measure memorization rates of LLMs, primarily discoverable extraction (Carlini et al., 2022), rely on single-sequence greedy sampling, potentially underestimating the true extent of memorization. This paper introduces a probabilistic relaxation of discoverable extraction that quantifies the probability of extracting a target sequence within a set of generated samples, considering various sampling schemes and multiple attempts. This approach addresses the limitations of reporting memorization rates through discoverable extraction by accounting for the probabilistic nature of LLMs and user interaction patterns. Our experiments demonstrate that this probabilistic measure can reveal cases of higher memorization rates compared to rates found through discoverable extraction. We further investigate the impact of different sampling schemes on extractability, providing a more comprehensive and realistic assessment of LLM memorization and its associated risks. Our contributions include a new probabilistic memorization definition, empirical evidence of its effectiveness, and a thorough evaluation across different models, sizes, sampling schemes, and training data repetitions.