テキストとビジュアルモダリティにおけるCLEAR: 文字の忘却

CLEAR: Character Unlearning in Textual and Visual Modalities

October 23, 2024

著者: Alexey Dontsov, Dmitrii Korzh, Alexey Zhavoronkin, Boris Mikheev, Denis Bobkov, Aibek Alanov, Oleg Y. Rogov, Ivan Oseledets, Elena Tutubalina

cs.AI

要旨

機械の忘却（MU）は、特に大規模な多モーダル言語モデル（MLLMs）において、特定の個人情報や危険情報を除去することで、深層学習モデルのプライバシーとセキュリティを向上させる上で重要です。MUは、テキストとビジュアルのモダリティで大きな進歩を遂げていますが、多モーダルの忘却（MMU）は、適切なオープンソースのベンチマークがないことから、未だに十分に探究されていません。この課題に対処するために、MMU手法を評価するために設計された新しいベンチマークであるCLEARを紹介します。CLEARには、200人の架空の個人とそれに関連する質問と回答のペアにリンクされた3,700枚の画像が含まれており、モダリティを横断した徹底的な評価が可能です。我々は、10種類のMU手法を評価し、MMUに適応させ、多モーダルの忘却に特有の新たな課題を強調します。また、LoRAの重みに対する単純なell_1正則化が、過度の忘却を軽減し、保持されたデータにおけるモデルのパフォーマンスを維持することを示します。データセットは、https://huggingface.co/datasets/therem/CLEAR で入手可能です。

English

Machine Unlearning (MU) is critical for enhancing privacy and security in deep learning models, particularly in large multimodal language models (MLLMs), by removing specific private or hazardous information. While MU has made significant progress in textual and visual modalities, multimodal unlearning (MMU) remains significantly underexplored, partially due to the absence of a suitable open-source benchmark. To address this, we introduce CLEAR, a new benchmark designed to evaluate MMU methods. CLEAR contains 200 fictitious individuals and 3,700 images linked with corresponding question-answer pairs, enabling a thorough evaluation across modalities. We assess 10 MU methods, adapting them for MMU, and highlight new challenges specific to multimodal forgetting. We also demonstrate that simple ell_1 regularization on LoRA weights significantly mitigates catastrophic forgetting, preserving model performance on retained data. The dataset is available at https://huggingface.co/datasets/therem/CLEAR