Robustezza in Entrambi i Domini: CLIP Richiede un Encoder di Testo Robusto

Robustness in Both Domains: CLIP Needs a Robust Text Encoder

June 3, 2025

Autori: Elias Abad Rocamora, Christian Schlarmann, Naman Deep Singh, Yongtao Wu, Matthias Hein, Volkan Cevher

cs.AI

Abstract

Gli attacchi con input avversari possono causare uno spostamento significativo degli embedding di CLIP. Ciò può influenzare la robustezza a valle dei modelli che incorporano CLIP nella pipeline, come i modelli generativi da testo a immagine o i grandi modelli di linguaggio visivo. Sebbene siano stati compiuti alcuni sforzi per rendere robusti gli encoder di immagini di CLIP, la robustezza degli encoder di testo rimane inesplorata. In questo lavoro, colmiamo questa lacuna nella letteratura. Proponiamo LEAF: un metodo efficiente di fine-tuning avversario per il dominio del testo, con la capacità di scalare a grandi modelli CLIP. I nostri modelli migliorano significativamente l'accuratezza avversaria zero-shot nel dominio del testo, mantenendo al contempo le prestazioni visive fornite da encoder di immagini robusti. Quando combinati con modelli di diffusione da testo a immagine, possiamo migliorare la qualità della generazione in presenza di rumore avversario. Quando impieghiamo i nostri encoder CLIP robusti in compiti di recupero multimodale, miglioriamo il richiamo in presenza di rumore avversario rispetto ai modelli CLIP standard. Infine, dimostriamo che gli encoder di testo robusti facilitano una migliore ricostruzione del testo di input dal suo embedding tramite ottimizzazione diretta.

English

Adversarial input attacks can cause a significant shift of CLIP embeddings. This can affect the downstream robustness of models incorporating CLIP in the pipeline, such as text-to-image generative models or large vision language models. While some efforts have been done towards making the CLIP image encoders robust, the robustness of text encoders remains unexplored. In this work, we cover this gap in the literature. We propose LEAF: an efficient adversarial finetuning method for the text domain, with the ability to scale to large CLIP models. Our models significantly improve the zero-shot adversarial accuracy in the text domain, while maintaining the vision performance provided by robust image encoders. When combined with text-to-image diffusion models, we can improve the generation quality under adversarial noise. When employing our robust CLIP encoders in multimodal retrieval tasks, we improve the recall under adversarial noise over standard CLIP models. Finally, we show that robust text encoders facilitate better reconstruction of input text from its embedding via direct optimization.