CLARA: Desaprendizaje de Caracteres en Modalidades Textuales y Visuales

CLEAR: Character Unlearning in Textual and Visual Modalities

October 23, 2024

Autores: Alexey Dontsov, Dmitrii Korzh, Alexey Zhavoronkin, Boris Mikheev, Denis Bobkov, Aibek Alanov, Oleg Y. Rogov, Ivan Oseledets, Elena Tutubalina

cs.AI

Resumen

El Desaprendizaje de Máquinas (MU, por sus siglas en inglés) es fundamental para mejorar la privacidad y la seguridad en los modelos de aprendizaje profundo, especialmente en los grandes modelos de lenguaje multimodal (MLLMs, por sus siglas en inglés), al eliminar información específica privada o peligrosa. Aunque el MU ha avanzado significativamente en las modalidades textual y visual, el desaprendizaje multimodal (MMU, por sus siglas en inglés) sigue siendo ampliamente inexplorado, en parte debido a la falta de un banco de pruebas de código abierto adecuado. Para abordar esto, presentamos CLEAR, un nuevo banco de pruebas diseñado para evaluar métodos de MMU. CLEAR contiene 200 individuos ficticios y 3,700 imágenes vinculadas con pares de preguntas y respuestas correspondientes, lo que permite una evaluación exhaustiva entre modalidades. Evaluamos 10 métodos de MU, adaptándolos para MMU, y destacamos nuevos desafíos específicos del olvido multimodal. También demostramos que la simple regularización ell_1 en los pesos de LoRA mitiga significativamente el olvido catastrófico, preservando el rendimiento del modelo en los datos retenidos. El conjunto de datos está disponible en https://huggingface.co/datasets/therem/CLEAR

English

Machine Unlearning (MU) is critical for enhancing privacy and security in deep learning models, particularly in large multimodal language models (MLLMs), by removing specific private or hazardous information. While MU has made significant progress in textual and visual modalities, multimodal unlearning (MMU) remains significantly underexplored, partially due to the absence of a suitable open-source benchmark. To address this, we introduce CLEAR, a new benchmark designed to evaluate MMU methods. CLEAR contains 200 fictitious individuals and 3,700 images linked with corresponding question-answer pairs, enabling a thorough evaluation across modalities. We assess 10 MU methods, adapting them for MMU, and highlight new challenges specific to multimodal forgetting. We also demonstrate that simple ell_1 regularization on LoRA weights significantly mitigates catastrophic forgetting, preserving model performance on retained data. The dataset is available at https://huggingface.co/datasets/therem/CLEAR