CLARO: Desaprendizagem de Caracteres em Modalidades Textuais e Visuais

CLEAR: Character Unlearning in Textual and Visual Modalities

October 23, 2024

Autores: Alexey Dontsov, Dmitrii Korzh, Alexey Zhavoronkin, Boris Mikheev, Denis Bobkov, Aibek Alanov, Oleg Y. Rogov, Ivan Oseledets, Elena Tutubalina

cs.AI

Resumo

O Desaprendizado de Máquina (MU) é fundamental para aprimorar a privacidade e segurança em modelos de aprendizado profundo, especialmente em grandes modelos de linguagem multimodais (MLLMs), removendo informações específicas privadas ou perigosas. Enquanto o MU avançou significativamente em modalidades textuais e visuais, o desaprendizado multimodal (MMU) ainda é amplamente inexplorado, parcialmente devido à ausência de um benchmark de código aberto adequado. Para abordar essa questão, apresentamos o CLEAR, um novo benchmark projetado para avaliar métodos de MMU. O CLEAR contém 200 indivíduos fictícios e 3.700 imagens vinculadas a pares de perguntas e respostas correspondentes, possibilitando uma avaliação abrangente entre modalidades. Avaliamos 10 métodos de MU, adaptando-os para MMU, e destacamos novos desafios específicos para o esquecimento multimodal. Também demonstramos que a simples regularização ell_1 nos pesos LoRA mitiga significativamente o esquecimento catastrófico, preservando o desempenho do modelo nos dados retidos. O conjunto de dados está disponível em https://huggingface.co/datasets/therem/CLEAR

English

Machine Unlearning (MU) is critical for enhancing privacy and security in deep learning models, particularly in large multimodal language models (MLLMs), by removing specific private or hazardous information. While MU has made significant progress in textual and visual modalities, multimodal unlearning (MMU) remains significantly underexplored, partially due to the absence of a suitable open-source benchmark. To address this, we introduce CLEAR, a new benchmark designed to evaluate MMU methods. CLEAR contains 200 fictitious individuals and 3,700 images linked with corresponding question-answer pairs, enabling a thorough evaluation across modalities. We assess 10 MU methods, adapting them for MMU, and highlight new challenges specific to multimodal forgetting. We also demonstrate that simple ell_1 regularization on LoRA weights significantly mitigates catastrophic forgetting, preserving model performance on retained data. The dataset is available at https://huggingface.co/datasets/therem/CLEAR