Zipper : Une architecture de décodeur multi-tours pour la fusion de modalités

Zipper: A Multi-Tower Decoder Architecture for Fusing Modalities

May 29, 2024

Auteurs: Vicky Zayats, Peter Chen, Melissa Merrari, Dirk Padfield

cs.AI

Résumé

L'intégration de multiples modèles génératifs de base, en particulier ceux entraînés sur différentes modalités, pour créer un ensemble supérieur à la somme de ses parties, présente des défis significatifs. Deux obstacles majeurs sont la disponibilité de données alignées (des concepts ayant une signification similaire mais exprimés différemment selon les modalités) et l'exploitation efficace des représentations unimodales dans des tâches génératives inter-domaines, sans compromettre leurs capacités unimodales d'origine. Nous proposons Zipper, une architecture de décodeur multi-tours qui aborde ces problématiques en utilisant l'attention croisée pour composer de manière flexible des modèles génératifs multimodaux à partir de décodeurs unimodaux pré-entraînés indépendamment. Dans nos expériences de fusion des modalités parole et texte, nous montrons que l'architecture proposée obtient des performances très compétitives dans des scénarios avec des données texte-parole alignées limitées. Nous démontrons également la flexibilité de notre modèle à maintenir sélectivement les performances de génération unimodale (par exemple, la génération texte-à-texte) en gelant la tour modale correspondante (par exemple, le texte). Dans les tâches inter-modales telles que la reconnaissance automatique de la parole (ASR) où la modalité de sortie est le texte, nous montrons que le gel du backbone textuel entraîne une dégradation négligeable des performances. Dans les tâches inter-modales telles que la génération de parole à partir de texte (TTS) où la modalité de sortie est la parole, nous montrons que l'utilisation d'un backbone vocal pré-entraîné permet d'obtenir des performances supérieures à celles de la ligne de base.

English

Integrating multiple generative foundation models, especially those trained on different modalities, into something greater than the sum of its parts poses significant challenges. Two key hurdles are the availability of aligned data (concepts that contain similar meaning but is expressed differently in different modalities), and effectively leveraging unimodal representations in cross-domain generative tasks, without compromising their original unimodal capabilities. We propose Zipper, a multi-tower decoder architecture that addresses these concerns by using cross-attention to flexibly compose multimodal generative models from independently pre-trained unimodal decoders. In our experiments fusing speech and text modalities, we show the proposed architecture performs very competitively in scenarios with limited aligned text-speech data. We also showcase the flexibility of our model to selectively maintain unimodal (e.g., text-to-text generation) generation performance by freezing the corresponding modal tower (e.g. text). In cross-modal tasks such as automatic speech recognition (ASR) where the output modality is text, we show that freezing the text backbone results in negligible performance degradation. In cross-modal tasks such as text-to-speech generation (TTS) where the output modality is speech, we show that using a pre-trained speech backbone results in superior performance to the baseline.