Les autoencodeurs clairsemés apprennent des caractéristiques monosémantiques dans les modèles vision-langage.

Sparse Autoencoders Learn Monosemantic Features in Vision-Language Models

April 3, 2025

Auteurs: Mateusz Pach, Shyamgopal Karthik, Quentin Bouniot, Serge Belongie, Zeynep Akata

cs.AI

Résumé

Les autoencodeurs parcimonieux (SAE) ont récemment démontré leur capacité à améliorer l'interprétabilité et la pilotabilité des grands modèles de langage (LLM). Dans ce travail, nous étendons l'application des SAE aux modèles vision-langage (VLM), tels que CLIP, et introduisons un cadre complet pour évaluer la monosémanticité dans les représentations visuelles. Nos résultats expérimentaux révèlent que les SAE entraînés sur des VLM améliorent significativement la monosémanticité des neurones individuels tout en présentant des représentations hiérarchiques qui s'alignent bien avec des structures définies par des experts (par exemple, la taxonomie iNaturalist). Plus particulièrement, nous démontrons que l'application des SAE pour intervenir sur un encodeur visuel de CLIP permet de piloter directement la sortie de modèles de langage multimodaux (par exemple, LLaVA) sans aucune modification du modèle sous-jacent. Ces résultats soulignent la praticabilité et l'efficacité des SAE en tant qu'approche non supervisée pour améliorer à la fois l'interprétabilité et le contrôle des VLM.

English

Sparse Autoencoders (SAEs) have recently been shown to enhance interpretability and steerability in Large Language Models (LLMs). In this work, we extend the application of SAEs to Vision-Language Models (VLMs), such as CLIP, and introduce a comprehensive framework for evaluating monosemanticity in vision representations. Our experimental results reveal that SAEs trained on VLMs significantly enhance the monosemanticity of individual neurons while also exhibiting hierarchical representations that align well with expert-defined structures (e.g., iNaturalist taxonomy). Most notably, we demonstrate that applying SAEs to intervene on a CLIP vision encoder, directly steer output from multimodal LLMs (e.g., LLaVA) without any modifications to the underlying model. These findings emphasize the practicality and efficacy of SAEs as an unsupervised approach for enhancing both the interpretability and control of VLMs.