Разреженные автоэнкодеры изучают моносемантические признаки в моделях "визуализация-язык"

Sparse Autoencoders Learn Monosemantic Features in Vision-Language Models

April 3, 2025

Авторы: Mateusz Pach, Shyamgopal Karthik, Quentin Bouniot, Serge Belongie, Zeynep Akata

cs.AI

Аннотация

Разреженные автоэнкодеры (SAE) недавно продемонстрировали свою способность повышать интерпретируемость и управляемость в крупных языковых моделях (LLM). В данной работе мы расширяем применение SAE на визуально-языковые модели (VLM), такие как CLIP, и представляем комплексную структуру для оценки моносимантичности в визуальных представлениях. Наши экспериментальные результаты показывают, что SAE, обученные на VLM, значительно повышают моносимантичность отдельных нейронов, а также демонстрируют иерархические представления, которые хорошо согласуются с экспертными структурами (например, таксономией iNaturalist). Наиболее важно то, что мы демонстрируем, что применение SAE для вмешательства в визуальный кодировщик CLIP позволяет напрямую управлять выходом мультимодальных LLM (например, LLaVA) без каких-либо изменений в базовой модели. Эти результаты подчеркивают практичность и эффективность SAE как неконтролируемого подхода для повышения как интерпретируемости, так и управляемости VLM.

English

Sparse Autoencoders (SAEs) have recently been shown to enhance interpretability and steerability in Large Language Models (LLMs). In this work, we extend the application of SAEs to Vision-Language Models (VLMs), such as CLIP, and introduce a comprehensive framework for evaluating monosemanticity in vision representations. Our experimental results reveal that SAEs trained on VLMs significantly enhance the monosemanticity of individual neurons while also exhibiting hierarchical representations that align well with expert-defined structures (e.g., iNaturalist taxonomy). Most notably, we demonstrate that applying SAEs to intervene on a CLIP vision encoder, directly steer output from multimodal LLMs (e.g., LLaVA) without any modifications to the underlying model. These findings emphasize the practicality and efficacy of SAEs as an unsupervised approach for enhancing both the interpretability and control of VLMs.