Zipper: Un'Architettura Decoder Multi-Torre per la Fusione delle Modalità

Zipper: A Multi-Tower Decoder Architecture for Fusing Modalities

May 29, 2024

Autori: Vicky Zayats, Peter Chen, Melissa Merrari, Dirk Padfield

cs.AI

Abstract

Integrare più modelli generativi di base, specialmente quelli addestrati su diverse modalità, in qualcosa di maggiore della somma delle sue parti presenta sfide significative. Due ostacoli chiave sono la disponibilità di dati allineati (concetti che contengono significati simili ma sono espressi in modo diverso in diverse modalità) e lo sfruttamento efficace delle rappresentazioni unimodali in compiti generativi cross-domain, senza compromettere le loro capacità unimodali originali. Proponiamo Zipper, un'architettura decoder multi-torre che affronta queste problematiche utilizzando l'attenzione incrociata per comporre in modo flessibile modelli generativi multimodali a partire da decoder unimodali pre-addestrati in modo indipendente. Nei nostri esperimenti che fondono le modalità di parlato e testo, dimostriamo che l'architettura proposta si comporta in modo molto competitivo in scenari con dati allineati testo-parlato limitati. Mostriamo inoltre la flessibilità del nostro modello nel mantenere selettivamente le prestazioni di generazione unimodale (ad esempio, generazione testo-to-testo) congelando la torre modale corrispondente (ad esempio, testo). Nei compiti cross-modali come il riconoscimento automatico del parlato (ASR), dove la modalità di output è il testo, dimostriamo che il congelamento del backbone testuale comporta un degrado delle prestazioni trascurabile. Nei compiti cross-modali come la generazione testo-to-parlato (TTS), dove la modalità di output è il parlato, dimostriamo che l'utilizzo di un backbone parlato pre-addestrato porta a prestazioni superiori rispetto alla baseline.

English

Integrating multiple generative foundation models, especially those trained on different modalities, into something greater than the sum of its parts poses significant challenges. Two key hurdles are the availability of aligned data (concepts that contain similar meaning but is expressed differently in different modalities), and effectively leveraging unimodal representations in cross-domain generative tasks, without compromising their original unimodal capabilities. We propose Zipper, a multi-tower decoder architecture that addresses these concerns by using cross-attention to flexibly compose multimodal generative models from independently pre-trained unimodal decoders. In our experiments fusing speech and text modalities, we show the proposed architecture performs very competitively in scenarios with limited aligned text-speech data. We also showcase the flexibility of our model to selectively maintain unimodal (e.g., text-to-text generation) generation performance by freezing the corresponding modal tower (e.g. text). In cross-modal tasks such as automatic speech recognition (ASR) where the output modality is text, we show that freezing the text backbone results in negligible performance degradation. In cross-modal tasks such as text-to-speech generation (TTS) where the output modality is speech, we show that using a pre-trained speech backbone results in superior performance to the baseline.