CASA: Cross-Attention tramite Self-Attention per una Fusione Efficiente tra Visione e Linguaggio

CASA: Cross-Attention via Self-Attention for Efficient Vision-Language Fusion

December 22, 2025

Autori: Moritz Böhle, Amélie Royer, Juliette Marrie, Edouard Grave, Patrick Pérez

cs.AI

Abstract

I modelli visione-linguaggio (VLM) vengono comunemente addestrati inserendo token visivi provenienti da un encoder visivo preaddestrato nel flusso testuale di un modello linguistico. Ciò consente alle informazioni testuali e visive di interagire completamente all'interno del modello, ma risulta estremamente oneroso per immagini ad alta risoluzione, conversazioni lunghe o video in streaming, sia in termini di memoria che di potenza di calcolo. I VLM che sfruttano il cross-attention rappresentano un'alternativa efficiente all'inserimento di token, ma mostrano un evidente divario prestazionale, in particolare per compiti che coinvolgono dettagli visivi di fine granularità. Abbiamo riscontrato che una chiave per migliorare tali modelli è abilitare anche l'interazione locale testo-testo negli strati dedicati di cross-attention. Sulla base di ciò, proponiamo CASA, Cross-Attention via Self-Attention, un paradigma semplice ed efficiente che riduce sostanzialmente il divario con il pieno inserimento di token sui benchmark comuni di comprensione delle immagini, godendo al contempo della stessa scalabilità dei modelli a cross-attention quando applicati a compiti multimodali di contesto lungo come la descrizione di video in streaming. Per esempi e codice, consultare la nostra pagina del progetto all'indirizzo https://kyutai.org/casa.

English

Vision-language models (VLMs) are commonly trained by inserting image tokens from a pretrained vision encoder into the textual stream of a language model. This allows text and image information to fully attend to one another within the model, but becomes extremely costly for high-resolution images, long conversations, or streaming videos, both in memory and compute. VLMs leveraging cross-attention are an efficient alternative to token insertion but exhibit a clear performance gap, in particular on tasks involving fine-grained visual details. We find that a key to improving such models is to also enable local text-to-text interaction in the dedicated cross-attention layers. Building on this, we propose CASA, Cross-Attention via Self-Attention, a simple and efficient paradigm which substantially reduces the gap with full token insertion on common image understanding benchmarks, while enjoying the same scalability as cross-attention models when applied to long-context multimodal tasks such as streaming video captioning. For samples and code, please see our project page at https://kyutai.org/casa .