Zipper: Una Arquitectura de Decodificador Multi-Torre para la Fusión de Modalidades

Zipper: A Multi-Tower Decoder Architecture for Fusing Modalities

May 29, 2024

Autores: Vicky Zayats, Peter Chen, Melissa Merrari, Dirk Padfield

cs.AI

Resumen

La integración de múltiples modelos generativos fundamentales, especialmente aquellos entrenados en diferentes modalidades, en algo mayor que la suma de sus partes, plantea desafíos significativos. Dos obstáculos clave son la disponibilidad de datos alineados (conceptos que contienen un significado similar pero se expresan de manera diferente en distintas modalidades) y el aprovechamiento efectivo de las representaciones unimodales en tareas generativas de dominio cruzado, sin comprometer sus capacidades unimodales originales. Proponemos Zipper, una arquitectura de decodificador multi-torre que aborda estas preocupaciones mediante el uso de atención cruzada para componer de manera flexible modelos generativos multimodales a partir de decodificadores unimodales preentrenados de forma independiente. En nuestros experimentos que fusionan las modalidades de habla y texto, demostramos que la arquitectura propuesta tiene un desempeño muy competitivo en escenarios con datos limitados de texto-habla alineados. También mostramos la flexibilidad de nuestro modelo para mantener selectivamente el rendimiento de generación unimodal (por ejemplo, generación de texto a texto) al congelar la torre modal correspondiente (por ejemplo, texto). En tareas de modalidad cruzada como el reconocimiento automático de habla (ASR), donde la modalidad de salida es texto, demostramos que congelar la columna vertebral de texto resulta en una degradación de rendimiento insignificante. En tareas de modalidad cruzada como la generación de texto a voz (TTS), donde la modalidad de salida es habla, mostramos que el uso de una columna vertebral de habla preentrenada ofrece un rendimiento superior al de la línea base.

English

Integrating multiple generative foundation models, especially those trained on different modalities, into something greater than the sum of its parts poses significant challenges. Two key hurdles are the availability of aligned data (concepts that contain similar meaning but is expressed differently in different modalities), and effectively leveraging unimodal representations in cross-domain generative tasks, without compromising their original unimodal capabilities. We propose Zipper, a multi-tower decoder architecture that addresses these concerns by using cross-attention to flexibly compose multimodal generative models from independently pre-trained unimodal decoders. In our experiments fusing speech and text modalities, we show the proposed architecture performs very competitively in scenarios with limited aligned text-speech data. We also showcase the flexibility of our model to selectively maintain unimodal (e.g., text-to-text generation) generation performance by freezing the corresponding modal tower (e.g. text). In cross-modal tasks such as automatic speech recognition (ASR) where the output modality is text, we show that freezing the text backbone results in negligible performance degradation. In cross-modal tasks such as text-to-speech generation (TTS) where the output modality is speech, we show that using a pre-trained speech backbone results in superior performance to the baseline.