Los Autoencoders Dispersos Aprenden Características Monosemánticas en Modelos de Visión-Lenguaje

Sparse Autoencoders Learn Monosemantic Features in Vision-Language Models

April 3, 2025

Autores: Mateusz Pach, Shyamgopal Karthik, Quentin Bouniot, Serge Belongie, Zeynep Akata

cs.AI

Resumen

Los Autoencoders Dispersos (SAEs, por sus siglas en inglés) han demostrado recientemente mejorar la interpretabilidad y la capacidad de direccionamiento en los Modelos de Lenguaje de Gran Escala (LLMs). En este trabajo, extendemos la aplicación de los SAEs a los Modelos de Visión-Lenguaje (VLMs), como CLIP, e introducimos un marco integral para evaluar la monosemanticidad en las representaciones visuales. Nuestros resultados experimentales revelan que los SAEs entrenados en VLMs mejoran significativamente la monosemanticidad de las neuronas individuales, al mismo tiempo que exhiben representaciones jerárquicas que se alinean bien con estructuras definidas por expertos (por ejemplo, la taxonomía de iNaturalist). Más notablemente, demostramos que la aplicación de SAEs para intervenir en un codificador visual de CLIP permite direccionar directamente la salida de LLMs multimodales (por ejemplo, LLaVA) sin necesidad de realizar modificaciones en el modelo subyacente. Estos hallazgos destacan la practicidad y eficacia de los SAEs como un enfoque no supervisado para mejorar tanto la interpretabilidad como el control de los VLMs.

English

Sparse Autoencoders (SAEs) have recently been shown to enhance interpretability and steerability in Large Language Models (LLMs). In this work, we extend the application of SAEs to Vision-Language Models (VLMs), such as CLIP, and introduce a comprehensive framework for evaluating monosemanticity in vision representations. Our experimental results reveal that SAEs trained on VLMs significantly enhance the monosemanticity of individual neurons while also exhibiting hierarchical representations that align well with expert-defined structures (e.g., iNaturalist taxonomy). Most notably, we demonstrate that applying SAEs to intervene on a CLIP vision encoder, directly steer output from multimodal LLMs (e.g., LLaVA) without any modifications to the underlying model. These findings emphasize the practicality and efficacy of SAEs as an unsupervised approach for enhancing both the interpretability and control of VLMs.