Los autoencoders dispersos permiten un ajuste fino robusto e interpretable de los modelos CLIP.

Resumen

Los modelos de visión-lenguaje preentrenados a gran escala, como CLIP, demuestran un rendimiento zero-shot notable en diversas tareas. Sin embargo, el ajuste fino de estos modelos para mejorar el rendimiento en tareas posteriores a menudo degrada la robustez frente a cambios de distribución. Enfoques recientes han intentado mitigar esta disyuntiva, pero con frecuencia dependen de una guía textual costosa computacionalmente. Proponemos un método novedoso para el ajuste fino robusto, SAE-FT, que opera únicamente sobre las representaciones visuales del modelo. SAE-FT regulariza los cambios en estas representaciones penalizando la adición y eliminación de características semánticamente significativas identificadas por un Autoencoder Disperso entrenado en el modelo preentrenado. Esta restricción previene el olvido catastrófico y hace que el proceso de ajuste fino sea interpretable, permitiendo un análisis directo de los cambios semánticos. SAE-FT es tanto mecánicamente transparente como computacionalmente eficiente, igualando o superando el rendimiento de vanguardia en ImageNet y sus conjuntos de datos de referencia asociados para cambios de distribución. El código está disponible públicamente en: https://github.com/Fabian-Mor/sae-ft.

English

Large-scale pre-trained vision-language models like CLIP demonstrate remarkable zero-shot performance across diverse tasks. However, fine-tuning these models to improve downstream performance often degrades robustness against distribution shifts. Recent approaches have attempted to mitigate this trade-off, but often rely on computationally expensive text-guidance. We propose a novel method for robust fine-tuning, SAE-FT, which operates only on the model's visual representations. SAE-FT regularizes changes to these representations by penalizing the addition and removal of semantically meaningful features identified by a Sparse Autoencoder trained on the pre-trained model. This constraint prevents catastrophic forgetting and makes the fine-tuning process interpretable, enabling direct analysis of semantic changes. SAE-FT is both mechanistically transparent and computationally efficient, matching or exceeding state-of-the-art performance on ImageNet and its associated distribution shift benchmarks. Code is publicly available at: https://github.com/Fabian-Mor/sae-ft.