DiffCLIP : Attention différentielle rencontre CLIP

DiffCLIP: Differential Attention Meets CLIP

March 9, 2025

Auteurs: Hasan Abed Al Kader Hammoud, Bernard Ghanem

cs.AI

Résumé

Nous proposons DiffCLIP, un nouveau modèle vision-langage qui étend le mécanisme d'attention différentielle aux architectures CLIP. L'attention différentielle a été initialement développée pour les grands modèles de langage afin d'amplifier le contexte pertinent tout en atténuant les informations parasites. Dans ce travail, nous intégrons ce mécanisme dans le cadre à double encodeur (image et texte) de CLIP. Avec un nombre minimal de paramètres supplémentaires, DiffCLIP obtient des performances supérieures sur les tâches de compréhension image-texte. Sur les benchmarks de classification zero-shot, de recherche d'information et de robustesse, DiffCLIP surpasse systématiquement les modèles CLIP de référence. Il est à noter que ces gains s'accompagnent d'une surcharge computationnelle négligeable, démontrant que l'attention différentielle peut considérablement améliorer les représentations multimodales sans sacrifier l'efficacité. Le code est disponible à l'adresse suivante : https://github.com/hammoudhasan/DiffCLIP.

English

We propose DiffCLIP, a novel vision-language model that extends the differential attention mechanism to CLIP architectures. Differential attention was originally developed for large language models to amplify relevant context while canceling out noisy information. In this work, we integrate this mechanism into CLIP's dual encoder (image and text) framework. With minimal additional parameters, DiffCLIP achieves superior performance on image-text understanding tasks. Across zero-shot classification, retrieval, and robustness benchmarks, DiffCLIP consistently outperforms baseline CLIP models. Notably, these gains come with negligible computational overhead, demonstrating that differential attention can significantly enhance multi-modal representations without sacrificing efficiency. Code can be found at https://github.com/hammoudhasan/DiffCLIP.