Autoencoders Esparsos Aprendem Características Monossemânticas em Modelos de Visão e Linguagem

Sparse Autoencoders Learn Monosemantic Features in Vision-Language Models

April 3, 2025

Autores: Mateusz Pach, Shyamgopal Karthik, Quentin Bouniot, Serge Belongie, Zeynep Akata

cs.AI

Resumo

Autoencoders Esparsos (SAEs) têm demonstrado recentemente melhorar a interpretabilidade e a capacidade de direcionamento em Modelos de Linguagem de Grande Escala (LLMs). Neste trabalho, estendemos a aplicação de SAEs para Modelos Visão-Linguagem (VLMs), como o CLIP, e introduzimos um framework abrangente para avaliar a monosemanticidade em representações visuais. Nossos resultados experimentais revelam que SAEs treinados em VLMs melhoram significativamente a monosemanticidade de neurônios individuais, ao mesmo tempo em que exibem representações hierárquicas que se alinham bem com estruturas definidas por especialistas (por exemplo, a taxonomia do iNaturalist). Mais notavelmente, demonstramos que a aplicação de SAEs para intervir em um codificador visual do CLIP direciona diretamente a saída de LLMs multimodais (por exemplo, LLaVA) sem qualquer modificação no modelo subjacente. Essas descobertas enfatizam a praticidade e a eficácia dos SAEs como uma abordagem não supervisionada para aprimorar tanto a interpretabilidade quanto o controle de VLMs.

English

Sparse Autoencoders (SAEs) have recently been shown to enhance interpretability and steerability in Large Language Models (LLMs). In this work, we extend the application of SAEs to Vision-Language Models (VLMs), such as CLIP, and introduce a comprehensive framework for evaluating monosemanticity in vision representations. Our experimental results reveal that SAEs trained on VLMs significantly enhance the monosemanticity of individual neurons while also exhibiting hierarchical representations that align well with expert-defined structures (e.g., iNaturalist taxonomy). Most notably, we demonstrate that applying SAEs to intervene on a CLIP vision encoder, directly steer output from multimodal LLMs (e.g., LLaVA) without any modifications to the underlying model. These findings emphasize the practicality and efficacy of SAEs as an unsupervised approach for enhancing both the interpretability and control of VLMs.