DiffCLIP: Attenzione Differenziale incontra CLIP

DiffCLIP: Differential Attention Meets CLIP

March 9, 2025

Autori: Hasan Abed Al Kader Hammoud, Bernard Ghanem

cs.AI

Abstract

Proponiamo DiffCLIP, un innovativo modello visione-linguaggio che estende il meccanismo di attenzione differenziale alle architetture CLIP. L'attenzione differenziale è stata originariamente sviluppata per i grandi modelli linguistici con lo scopo di amplificare il contesto rilevante eliminando le informazioni rumorose. In questo lavoro, integriamo tale meccanismo nel framework duale di codifica (immagine e testo) di CLIP. Con un numero minimo di parametri aggiuntivi, DiffCLIP raggiunge prestazioni superiori nei task di comprensione immagine-testo. Sui benchmark di classificazione zero-shot, retrieval e robustezza, DiffCLIP supera costantemente i modelli CLIP di base. È importante sottolineare che questi miglioramenti si ottengono con un overhead computazionale trascurabile, dimostrando che l'attenzione differenziale può potenziare significativamente le rappresentazioni multimodali senza compromettere l'efficienza. Il codice è disponibile all'indirizzo https://github.com/hammoudhasan/DiffCLIP.

English

We propose DiffCLIP, a novel vision-language model that extends the differential attention mechanism to CLIP architectures. Differential attention was originally developed for large language models to amplify relevant context while canceling out noisy information. In this work, we integrate this mechanism into CLIP's dual encoder (image and text) framework. With minimal additional parameters, DiffCLIP achieves superior performance on image-text understanding tasks. Across zero-shot classification, retrieval, and robustness benchmarks, DiffCLIP consistently outperforms baseline CLIP models. Notably, these gains come with negligible computational overhead, demonstrating that differential attention can significantly enhance multi-modal representations without sacrificing efficiency. Code can be found at https://github.com/hammoudhasan/DiffCLIP.