SEM: Модуляция разреженных эмбэддингов для постфактумного устранения смещений в моделях «визуальный текст»
SEM: Sparse Embedding Modulation for Post-Hoc Debiasing of Vision-Language Models
March 19, 2026
Авторы: Quentin Guimard, Federico Bartsch, Simone Caldarella, Rahaf Aljundi, Elisa Ricci, Massimiliano Mancini
cs.AI
Аннотация
Модели, объединяющие зрение и язык, такие как CLIP, являются ключевыми компонентами мультимодального ИИ, однако их крупномасштабные, некурируемые обучающие данные вносят серьёзные социальные и ложные смещения. Существующие постфактумные методы устранения смещений часто работают непосредственно в плотном пространстве эмбеддингов CLIP, где информация о смещениях и релевантная для задачи информация сильно переплетены. Это переплетение ограничивает их способность удалять смещения без ухудшения семантической точности. В данной работе мы предлагаем Sparse Embedding Modulation (SEM) — постфактумную, zero-shot-методику устранения смещений, работающую в латентном пространстве Sparse Autoencoder (SAE). Разлагая текстовые эмбеддинги CLIP на разделимые признаки, SEM идентифицирует и модулирует нейроны, связанные со смещениями, сохраняя при этом нейроны, релевантные запросу. Это позволяет осуществлять более точные нелинейные вмешательства. На четырёх бенчмарк-наборах данных и двух архитектурах CLIP SEM демонстрирует значительное улучшение справедливости в задачах поиска и zero-shot-классификации. Наши результаты показывают, что разреженные латентные представления обеспечивают эффективную основу для постфактумного устранения смещений в моделях «зрение–язык».
English
Models that bridge vision and language, such as CLIP, are key components of multimodal AI, yet their large-scale, uncurated training data introduce severe social and spurious biases. Existing post-hoc debiasing methods often operate directly in the dense CLIP embedding space, where bias and task-relevant information are highly entangled. This entanglement limits their ability to remove bias without degrading semantic fidelity. In this work, we propose Sparse Embedding Modulation (SEM), a post-hoc, zero-shot debiasing framework that operates in a Sparse Autoencoder (SAE) latent space. By decomposing CLIP text embeddings into disentangled features, SEM identifies and modulates bias-relevant neurons while preserving query-relevant ones. This enables more precise, non-linear interventions. Across four benchmark datasets and two CLIP backbones, SEM achieves substantial fairness gains in retrieval and zero-shot classification. Our results demonstrate that sparse latent representations provide an effective foundation for post-hoc debiasing of vision-language models.