Modèles Vision-Langage Conscients de la Sécurité Hyperbolique

Hyperbolic Safety-Aware Vision-Language Models

March 15, 2025

Auteurs: Tobia Poppi, Tejaswi Kasarla, Pascal Mettes, Lorenzo Baraldi, Rita Cucchiara

cs.AI

Résumé

La gestion de la récupération de contenu inapproprié à partir de modèles vision-langage tels que CLIP constitue une étape cruciale pour leur intégration dans des applications réelles. Les efforts actuels reposent sur des techniques de désapprentissage visant à effacer la connaissance des concepts inappropriés par le modèle. Bien qu'efficaces pour réduire les sorties indésirables, ces techniques limitent la capacité du modèle à distinguer le contenu approprié de celui qui ne l'est pas. Dans ce travail, nous proposons une approche novatrice qui passe du désapprentissage à un paradigme de prise de conscience en exploitant les propriétés hiérarchiques inhérentes à l'espace hyperbolique. Nous suggérons d'encoder le contenu approprié et inapproprié sous forme de hiérarchie d'implication, où les deux sont placés dans différentes régions de l'espace hyperbolique. Notre modèle, HySAC (Hyperbolic Safety-Aware CLIP), utilise des fonctions de perte d'implication pour modéliser les relations hiérarchiques et asymétriques entre les paires image-texte appropriées et inappropriées. Cette modélisation, inefficace dans les modèles vision-langage standards en raison de leur dépendance aux embeddings euclidiens, confère au modèle une conscience du contenu inapproprié, lui permettant de servir à la fois de classifieur multimodal pour le contenu inapproprié et de récupérateur de contenu flexible, avec la possibilité de rediriger dynamiquement les requêtes inappropriées vers des alternatives plus sûres ou de conserver la sortie originale. Des expériences approfondies montrent que notre approche améliore non seulement la reconnaissance de la sécurité, mais établit également un cadre plus adaptable et interprétable pour la modération de contenu dans les modèles vision-langage. Notre code source est disponible à l'adresse suivante : https://github.com/aimagelab/HySAC.

English

Addressing the retrieval of unsafe content from vision-language models such as CLIP is an important step towards real-world integration. Current efforts have relied on unlearning techniques that try to erase the model's knowledge of unsafe concepts. While effective in reducing unwanted outputs, unlearning limits the model's capacity to discern between safe and unsafe content. In this work, we introduce a novel approach that shifts from unlearning to an awareness paradigm by leveraging the inherent hierarchical properties of the hyperbolic space. We propose to encode safe and unsafe content as an entailment hierarchy, where both are placed in different regions of hyperbolic space. Our HySAC, Hyperbolic Safety-Aware CLIP, employs entailment loss functions to model the hierarchical and asymmetrical relations between safe and unsafe image-text pairs. This modelling, ineffective in standard vision-language models due to their reliance on Euclidean embeddings, endows the model with awareness of unsafe content, enabling it to serve as both a multimodal unsafe classifier and a flexible content retriever, with the option to dynamically redirect unsafe queries toward safer alternatives or retain the original output. Extensive experiments show that our approach not only enhances safety recognition but also establishes a more adaptable and interpretable framework for content moderation in vision-language models. Our source code is available at https://github.com/aimagelab/HySAC.