DiffCLIP: Differentiële Aandacht Ontmoet CLIP

DiffCLIP: Differential Attention Meets CLIP

March 9, 2025

Auteurs: Hasan Abed Al Kader Hammoud, Bernard Ghanem

cs.AI

Samenvatting

We stellen DiffCLIP voor, een nieuw vision-language model dat het differentiële aandachtmechanisme uitbreidt naar CLIP-architecturen. Differentiële aandacht werd oorspronkelijk ontwikkeld voor grote taalmodellen om relevante context te versterken terwijl ruisachtige informatie wordt geneutraliseerd. In dit werk integreren we dit mechanisme in het duale encoder (beeld en tekst) framework van CLIP. Met minimale extra parameters behaalt DiffCLIP superieure prestaties op beeld-tekst begripstaken. Op zero-shot classificatie, retrieval en robuustheid benchmarks overtreft DiffCLIP consistent baseline CLIP-modellen. Opmerkelijk is dat deze verbeteringen worden gerealiseerd met verwaarloosbare rekenkosten, wat aantoont dat differentiële aandacht multi-modale representaties aanzienlijk kan verbeteren zonder in te leveren op efficiëntie. Code is beschikbaar op https://github.com/hammoudhasan/DiffCLIP.

English

We propose DiffCLIP, a novel vision-language model that extends the differential attention mechanism to CLIP architectures. Differential attention was originally developed for large language models to amplify relevant context while canceling out noisy information. In this work, we integrate this mechanism into CLIP's dual encoder (image and text) framework. With minimal additional parameters, DiffCLIP achieves superior performance on image-text understanding tasks. Across zero-shot classification, retrieval, and robustness benchmarks, DiffCLIP consistently outperforms baseline CLIP models. Notably, these gains come with negligible computational overhead, demonstrating that differential attention can significantly enhance multi-modal representations without sacrificing efficiency. Code can be found at https://github.com/hammoudhasan/DiffCLIP.