CASA: Kruis-attentie via Zelf-attentie voor Efficiënte Visie-Taal Fusie
CASA: Cross-Attention via Self-Attention for Efficient Vision-Language Fusion
December 22, 2025
Auteurs: Moritz Böhle, Amélie Royer, Juliette Marrie, Edouard Grave, Patrick Pérez
cs.AI
Samenvatting
Vision-language models (VLMs) worden doorgaans getraind door beeldtokens van een voorgetrainde visuele encoder in te voegen in de tekststroom van een taalmodel. Hierdoor kunnen tekst- en beeldinformatie volledig op elkaar inwerken binnen het model, maar dit wordt extreem kostbaar voor hoogresolutiebeelden, lange gesprekken of streamende video's, zowel qua geheugen als rekencapaciteit. VLMs die gebruikmaken van cross-attention vormen een efficiënt alternatief voor tokeninvoeging, maar vertonen een duidelijke prestatiekloof, met name bij taken die fijngranulaire visuele details vereisen. Wij constateren dat een sleutel tot verbetering van dergelijke modellen ligt in het mogelijk maken van lokale tekst-naar-tekst-interactie in de toegewijde cross-attentionlagen. Op basis hiervan stellen wij CASA voor, Cross-Attention via Self-Attention, een eenvoudig en efficiënt paradigma dat de kloof met volledige tokeninvoeging aanzienlijk verkleint op gangbare beeldbegriptestbanken, terwijl het dezelfde schaalbaarheid biedt als cross-attentionmodellen wanneer toegepast op multimodale taken met lange context, zoals ondertiteling van streamende video's. Voor voorbeelden en code, zie onze projectpagina op https://kyutai.org/casa.
English
Vision-language models (VLMs) are commonly trained by inserting image tokens from a pretrained vision encoder into the textual stream of a language model. This allows text and image information to fully attend to one another within the model, but becomes extremely costly for high-resolution images, long conversations, or streaming videos, both in memory and compute. VLMs leveraging cross-attention are an efficient alternative to token insertion but exhibit a clear performance gap, in particular on tasks involving fine-grained visual details. We find that a key to improving such models is to also enable local text-to-text interaction in the dedicated cross-attention layers. Building on this, we propose CASA, Cross-Attention via Self-Attention, a simple and efficient paradigm which substantially reduces the gap with full token insertion on common image understanding benchmarks, while enjoying the same scalability as cross-attention models when applied to long-context multimodal tasks such as streaming video captioning. For samples and code, please see our project page at https://kyutai.org/casa .