象は決して忘れない：大規模言語モデルにおける表形式データの記憶と学習

Elephants Never Forget: Memorization and Learning of Tabular Data in Large Language Models

April 9, 2024

著者: Sebastian Bordt, Harsha Nori, Vanessa Rodrigues, Besmira Nushi, Rich Caruana

cs.AI

要旨

大規模言語モデル（LLMs）が多様なタスクに適用可能であることは多くの研究で示されているが、データ汚染や記憶化という重要な問題はしばしば軽視されてきた。本研究では、この懸念を表形式データに焦点を当てて取り組む。具体的には、言語モデルが訓練中に特定の表形式データセットを「見た」かどうかを評価するための様々な手法を導入する。この調査により、LLMsが多くの人気のある表形式データセットをそのまま記憶していることが明らかになった。次に、訓練中に見たデータセットと訓練後にリリースされたデータセットに対するLLMsのFew-shot学習性能を比較する。その結果、LLMsは訓練中に見たデータセットでより良い性能を示し、記憶化が過剰適合を引き起こしていることが示唆された。一方で、LLMsは新しいデータセットにおいても一定の性能を発揮し、データ変換に対して驚くほど頑健であることがわかった。さらに、LLMsの文脈内統計学習能力を調査する。ファインチューニングなしでは、その能力は限定的であることが判明した。これは、新しいデータセットに対するFew-shot性能の多くがLLMsの世界知識によるものであることを示唆している。全体として、評価データセットが事前訓練中に見られたかどうかをテストすることの重要性が浮き彫りになった。我々は、開発した曝露テストを「tabmemcheck」Pythonパッケージとしてhttps://github.com/interpretml/LLM-Tabular-Memorization-Checkerで公開している。

English

While many have shown how Large Language Models (LLMs) can be applied to a diverse set of tasks, the critical issues of data contamination and memorization are often glossed over. In this work, we address this concern for tabular data. Specifically, we introduce a variety of different techniques to assess whether a language model has seen a tabular dataset during training. This investigation reveals that LLMs have memorized many popular tabular datasets verbatim. We then compare the few-shot learning performance of LLMs on datasets that were seen during training to the performance on datasets released after training. We find that LLMs perform better on datasets seen during training, indicating that memorization leads to overfitting. At the same time, LLMs show non-trivial performance on novel datasets and are surprisingly robust to data transformations. We then investigate the in-context statistical learning abilities of LLMs. Without fine-tuning, we find them to be limited. This suggests that much of the few-shot performance on novel datasets is due to the LLM's world knowledge. Overall, our results highlight the importance of testing whether an LLM has seen an evaluation dataset during pre-training. We make the exposure tests we developed available as the tabmemcheck Python package at https://github.com/interpretml/LLM-Tabular-Memorization-Checker