DiffCLIP: Дифференциальное внимание встречается с CLIP

DiffCLIP: Differential Attention Meets CLIP

March 9, 2025

Авторы: Hasan Abed Al Kader Hammoud, Bernard Ghanem

cs.AI

Аннотация

Мы представляем DiffCLIP — новую модель для обработки визуальной и текстовой информации, которая расширяет механизм дифференциального внимания для архитектур CLIP. Дифференциальное внимание изначально было разработано для крупных языковых моделей с целью усиления релевантного контекста и подавления шумовой информации. В данной работе мы интегрируем этот механизм в двухкодировочную (изображение и текст) структуру CLIP. Благодаря минимальному количеству дополнительных параметров, DiffCLIP демонстрирует превосходную производительность в задачах понимания изображений и текста. В тестах на классификацию без обучения, поиск и устойчивость модель стабильно превосходит базовые версии CLIP. Примечательно, что эти улучшения достигаются с незначительными вычислительными затратами, что подтверждает способность дифференциального внимания значительно улучшать мультимодальные представления без ущерба для эффективности. Код доступен по адресу: https://github.com/hammoudhasan/DiffCLIP.

English

We propose DiffCLIP, a novel vision-language model that extends the differential attention mechanism to CLIP architectures. Differential attention was originally developed for large language models to amplify relevant context while canceling out noisy information. In this work, we integrate this mechanism into CLIP's dual encoder (image and text) framework. With minimal additional parameters, DiffCLIP achieves superior performance on image-text understanding tasks. Across zero-shot classification, retrieval, and robustness benchmarks, DiffCLIP consistently outperforms baseline CLIP models. Notably, these gains come with negligible computational overhead, demonstrating that differential attention can significantly enhance multi-modal representations without sacrificing efficiency. Code can be found at https://github.com/hammoudhasan/DiffCLIP.