DiffCLIP: Atenção Diferencial Encontra o CLIP

DiffCLIP: Differential Attention Meets CLIP

March 9, 2025

Autores: Hasan Abed Al Kader Hammoud, Bernard Ghanem

cs.AI

Resumo

Propomos o DiffCLIP, um novo modelo de visão e linguagem que estende o mecanismo de atenção diferencial para arquiteturas CLIP. A atenção diferencial foi originalmente desenvolvida para modelos de linguagem de grande escala, com o objetivo de ampliar o contexto relevante enquanto cancela informações ruidosas. Neste trabalho, integramos esse mecanismo na estrutura de codificador duplo (imagem e texto) do CLIP. Com um número mínimo de parâmetros adicionais, o DiffCLIP alcança desempenho superior em tarefas de compreensão de imagem e texto. Em benchmarks de classificação zero-shot, recuperação e robustez, o DiffCLIP supera consistentemente os modelos CLIP de referência. Notavelmente, esses ganhos são obtidos com sobrecarga computacional insignificante, demonstrando que a atenção diferencial pode aprimorar significativamente as representações multimodais sem sacrificar a eficiência. O código pode ser encontrado em https://github.com/hammoudhasan/DiffCLIP.

English

We propose DiffCLIP, a novel vision-language model that extends the differential attention mechanism to CLIP architectures. Differential attention was originally developed for large language models to amplify relevant context while canceling out noisy information. In this work, we integrate this mechanism into CLIP's dual encoder (image and text) framework. With minimal additional parameters, DiffCLIP achieves superior performance on image-text understanding tasks. Across zero-shot classification, retrieval, and robustness benchmarks, DiffCLIP consistently outperforms baseline CLIP models. Notably, these gains come with negligible computational overhead, demonstrating that differential attention can significantly enhance multi-modal representations without sacrificing efficiency. Code can be found at https://github.com/hammoudhasan/DiffCLIP.