DiffCLIP: 差分アテンションとCLIPの融合

DiffCLIP: Differential Attention Meets CLIP

March 9, 2025

著者: Hasan Abed Al Kader Hammoud, Bernard Ghanem

cs.AI

要旨

我々は、CLIPアーキテクチャに微分注意機構を拡張した新しい視覚言語モデルDiffCLIPを提案する。微分注意は、元々大規模言語モデル向けに開発され、関連する文脈を増幅しつつノイズの多い情報を相殺するものである。本研究では、この機構をCLIPのデュアルエンコーダ（画像とテキスト）フレームワークに統合する。最小限の追加パラメータで、DiffCLIPは画像テキスト理解タスクにおいて優れた性能を達成する。ゼロショット分類、検索、ロバストネスベンチマークにわたって、DiffCLIPはベースラインCLIPモデルを一貫して上回る。特に、これらの向上は計算オーバーヘッドをほとんど伴わず、微分注意が効率を犠牲にすることなくマルチモーダル表現を大幅に強化できることを示している。コードはhttps://github.com/hammoudhasan/DiffCLIPで公開されている。

English

We propose DiffCLIP, a novel vision-language model that extends the differential attention mechanism to CLIP architectures. Differential attention was originally developed for large language models to amplify relevant context while canceling out noisy information. In this work, we integrate this mechanism into CLIP's dual encoder (image and text) framework. With minimal additional parameters, DiffCLIP achieves superior performance on image-text understanding tasks. Across zero-shot classification, retrieval, and robustness benchmarks, DiffCLIP consistently outperforms baseline CLIP models. Notably, these gains come with negligible computational overhead, demonstrating that differential attention can significantly enhance multi-modal representations without sacrificing efficiency. Code can be found at https://github.com/hammoudhasan/DiffCLIP.