Разреженные автоэнкодеры позволяют выполнять робастное и интерпретируемое дообучение моделей CLIP

Аннотация

Крупномасштабные предварительно обученные модели зрения и языка, такие как CLIP, демонстрируют впечатляющую производительность zero-shot в широком спектре задач. Однако тонкая настройка таких моделей для улучшения результатов на целевых задачах часто снижает устойчивость к сдвигам распределения. Недавние подходы пытались смягчить этот компромисс, но зачастую полагаются на вычислительно затратное текстовое руководство. Мы предлагаем новый метод для робастной тонкой настройки, SAE-FT, который работает исключительно с визуальными представлениями модели. SAE-FT регуляризует изменения этих представлений, штрафуя добавление и удаление семантически значимых признаков, выявленных разреженным автоэнкодером, обученным на предварительно обученной модели. Такое ограничение предотвращает катастрофическое забывание и делает процесс тонкой настройки интерпретируемым, позволяя напрямую анализировать семантические изменения. SAE-FT является как механистически прозрачным, так и вычислительно эффективным, достигая или превосходя современный уровень производительности на ImageNet и связанных с ним эталонах для оценки сдвигов распределения. Код доступен по адресу: https://github.com/Fabian-Mor/sae-ft.

English

Large-scale pre-trained vision-language models like CLIP demonstrate remarkable zero-shot performance across diverse tasks. However, fine-tuning these models to improve downstream performance often degrades robustness against distribution shifts. Recent approaches have attempted to mitigate this trade-off, but often rely on computationally expensive text-guidance. We propose a novel method for robust fine-tuning, SAE-FT, which operates only on the model's visual representations. SAE-FT regularizes changes to these representations by penalizing the addition and removal of semantically meaningful features identified by a Sparse Autoencoder trained on the pre-trained model. This constraint prevents catastrophic forgetting and makes the fine-tuning process interpretable, enabling direct analysis of semantic changes. SAE-FT is both mechanistically transparent and computationally efficient, matching or exceeding state-of-the-art performance on ImageNet and its associated distribution shift benchmarks. Code is publicly available at: https://github.com/Fabian-Mor/sae-ft.