CASA: Atención Cruzada mediante Auto-Atención para una Fusión Eficiente de Visión y Lenguaje

CASA: Cross-Attention via Self-Attention for Efficient Vision-Language Fusion

December 22, 2025

Autores: Moritz Böhle, Amélie Royer, Juliette Marrie, Edouard Grave, Patrick Pérez

cs.AI

Resumen

Los modelos de lenguaje-visión (VLM) suelen entrenarse insertando tokens de imagen de un codificador visual preentrenado en el flujo textual de un modelo de lenguaje. Esto permite que la información textual y visual interactúen completamente dentro del modelo, pero resulta extremadamente costoso para imágenes de alta resolución, conversaciones largas o vídeos en streaming, tanto en memoria como en capacidad de cálculo. Los VLM que aprovechan la atención cruzada son una alternativa eficiente a la inserción de tokens, pero muestran una brecha de rendimiento clara, particularmente en tareas que involucran detalles visuales finos. Descubrimos que una clave para mejorar dichos modelos es permitir también la interacción local texto-a-texto en las capas de atención cruzada dedicadas. Basándonos en esto, proponemos CASA (Cross-Attention via Self-Attention), un paradigma simple y eficiente que reduce sustancialmente la brecha con la inserción completa de tokens en benchmarks comunes de comprensión de imágenes, mientras mantiene la misma escalabilidad que los modelos de atención cruzada cuando se aplican a tareas multimodales de contexto largo, como la descripción de vídeos en streaming. Para muestras y código, visite nuestra página del proyecto en https://kyutai.org/casa.

English

Vision-language models (VLMs) are commonly trained by inserting image tokens from a pretrained vision encoder into the textual stream of a language model. This allows text and image information to fully attend to one another within the model, but becomes extremely costly for high-resolution images, long conversations, or streaming videos, both in memory and compute. VLMs leveraging cross-attention are an efficient alternative to token insertion but exhibit a clear performance gap, in particular on tasks involving fine-grained visual details. We find that a key to improving such models is to also enable local text-to-text interaction in the dedicated cross-attention layers. Building on this, we propose CASA, Cross-Attention via Self-Attention, a simple and efficient paradigm which substantially reduces the gap with full token insertion on common image understanding benchmarks, while enjoying the same scalability as cross-attention models when applied to long-context multimodal tasks such as streaming video captioning. For samples and code, please see our project page at https://kyutai.org/casa .