Zipper: Uma Arquitetura de Decodificador Multi-Torre para Fusão de Modalidades

Zipper: A Multi-Tower Decoder Architecture for Fusing Modalities

May 29, 2024

Autores: Vicky Zayats, Peter Chen, Melissa Merrari, Dirk Padfield

cs.AI

Resumo

Integrar múltiplos modelos generativos de base, especialmente aqueles treinados em diferentes modalidades, em algo maior do que a soma de suas partes apresenta desafios significativos. Dois obstáculos principais são a disponibilidade de dados alinhados (conceitos que contêm significado semelhante, mas são expressos de maneira diferente em diferentes modalidades) e a capacidade de aproveitar efetivamente as representações unimodais em tarefas generativas de domínio cruzado, sem comprometer suas capacidades unimodais originais. Propomos o Zipper, uma arquitetura de decodificador multi-torre que aborda essas preocupações ao usar atenção cruzada para compor de forma flexível modelos generativos multimodais a partir de decodificadores unimodais pré-treinados de forma independente. Em nossos experimentos que fundem as modalidades de fala e texto, mostramos que a arquitetura proposta tem um desempenho muito competitivo em cenários com dados limitados de texto-fala alinhados. Também demonstramos a flexibilidade do nosso modelo para manter seletivamente o desempenho de geração unimodal (por exemplo, geração de texto para texto) ao congelar a torre modal correspondente (por exemplo, texto). Em tarefas de modalidade cruzada, como reconhecimento automático de fala (ASR), onde a modalidade de saída é texto, mostramos que congelar o backbone de texto resulta em uma degradação de desempenho insignificante. Em tarefas de modalidade cruzada, como geração de texto para fala (TTS), onde a modalidade de saída é fala, mostramos que o uso de um backbone de fala pré-treinado resulta em um desempenho superior ao baseline.

English

Integrating multiple generative foundation models, especially those trained on different modalities, into something greater than the sum of its parts poses significant challenges. Two key hurdles are the availability of aligned data (concepts that contain similar meaning but is expressed differently in different modalities), and effectively leveraging unimodal representations in cross-domain generative tasks, without compromising their original unimodal capabilities. We propose Zipper, a multi-tower decoder architecture that addresses these concerns by using cross-attention to flexibly compose multimodal generative models from independently pre-trained unimodal decoders. In our experiments fusing speech and text modalities, we show the proposed architecture performs very competitively in scenarios with limited aligned text-speech data. We also showcase the flexibility of our model to selectively maintain unimodal (e.g., text-to-text generation) generation performance by freezing the corresponding modal tower (e.g. text). In cross-modal tasks such as automatic speech recognition (ASR) where the output modality is text, we show that freezing the text backbone results in negligible performance degradation. In cross-modal tasks such as text-to-speech generation (TTS) where the output modality is speech, we show that using a pre-trained speech backbone results in superior performance to the baseline.