確率的に発見可能な抽出を通じて記憶力を測定する

Measuring memorization through probabilistic discoverable extraction

October 25, 2024

著者: Jamie Hayes, Marika Swanberg, Harsh Chaudhari, Itay Yona, Ilia Shumailov

cs.AI

要旨

大規模言語モデル（LLMs）は、訓練データを記憶しやすく、機密情報の抽出の可能性による懸念が高まっています。現在のLLMsの記憶率を測定する方法は、主に発見可能抽出（Carlini et al.、2022）に依存しており、単一シーケンスの貪欲サンプリングに基づいています。これにより、記憶の真の程度が過小評価される可能性があります。本論文では、発見可能抽出の確率的緩和を導入し、生成されたサンプルのセット内でターゲットシーケンスを抽出する確率を定量化します。さまざまなサンプリング方式と複数の試行を考慮し、LLMsの確率的性質とユーザーの相互作用パターンを考慮しています。このアプローチは、発見可能抽出を通じて記憶率を報告する際の制限に対処し、LLMsの確率的性質とユーザーの相互作用パターンを考慮しています。実験では、この確率的測定が、発見可能抽出を通じて見つかる記憶率よりも高い記憶率のケースを明らかにできることを示しています。さらに、異なるサンプリング方式が抽出可能性に与える影響を調査し、LLMsの記憶および関連するリスクのより包括的かつ現実的な評価を提供しています。私たちの貢献には、新しい確率的記憶定義、その効果の実証、およびさまざまなモデル、サイズ、サンプリング方式、および訓練データの繰り返しにわたる徹底的な評価が含まれています。

English

Large language models (LLMs) are susceptible to memorizing training data, raising concerns due to the potential extraction of sensitive information. Current methods to measure memorization rates of LLMs, primarily discoverable extraction (Carlini et al., 2022), rely on single-sequence greedy sampling, potentially underestimating the true extent of memorization. This paper introduces a probabilistic relaxation of discoverable extraction that quantifies the probability of extracting a target sequence within a set of generated samples, considering various sampling schemes and multiple attempts. This approach addresses the limitations of reporting memorization rates through discoverable extraction by accounting for the probabilistic nature of LLMs and user interaction patterns. Our experiments demonstrate that this probabilistic measure can reveal cases of higher memorization rates compared to rates found through discoverable extraction. We further investigate the impact of different sampling schemes on extractability, providing a more comprehensive and realistic assessment of LLM memorization and its associated risks. Our contributions include a new probabilistic memorization definition, empirical evidence of its effectiveness, and a thorough evaluation across different models, sizes, sampling schemes, and training data repetitions.