Молния: многоуровневая архитектура декодера для слияния модальностей

Zipper: A Multi-Tower Decoder Architecture for Fusing Modalities

May 29, 2024

Авторы: Vicky Zayats, Peter Chen, Melissa Merrari, Dirk Padfield

cs.AI

Аннотация

Интеграция нескольких генеративных базовых моделей, особенно тех, которые обучены на различных модальностях, во что-то большее, чем сумма их частей, представляет существенные трудности. Два ключевых препятствия - наличие согласованных данных (концепции, содержащие схожее значение, но выраженные по-разному в различных модальностях) и эффективное использование унимодальных представлений в междоменных генеративных задачах, не ущемляя их первоначальные унимодальные возможности. Мы предлагаем Zipper, архитектуру многобашенного декодера, которая решает эти проблемы, используя кросс-внимание для гибкого компонования мультимодальных генеративных моделей из независимо предварительно обученных унимодальных декодеров. В наших экспериментах по объединению модальностей речи и текста мы показываем, что предложенная архитектура проявляет очень конкурентоспособные результаты в сценариях с ограниченными согласованными данными текст-речь. Мы также демонстрируем гибкость нашей модели в выборочном сохранении унимодальной (например, генерация текста) производительности путем замораживания соответствующей модальной башни (например, текст). В кросс-модальных задачах, таких как автоматическое распознавание речи (ASR), где модальность вывода - текст, мы показываем, что заморозка текстового основания приводит к незначительному снижению производительности. В кросс-модальных задачах, таких как генерация текста в речь (TTS), где модальность вывода - речь, мы показываем, что использование предварительно обученного речевого основания приводит к превосходной производительности по сравнению с базовым уровнем.

English

Integrating multiple generative foundation models, especially those trained on different modalities, into something greater than the sum of its parts poses significant challenges. Two key hurdles are the availability of aligned data (concepts that contain similar meaning but is expressed differently in different modalities), and effectively leveraging unimodal representations in cross-domain generative tasks, without compromising their original unimodal capabilities. We propose Zipper, a multi-tower decoder architecture that addresses these concerns by using cross-attention to flexibly compose multimodal generative models from independently pre-trained unimodal decoders. In our experiments fusing speech and text modalities, we show the proposed architecture performs very competitively in scenarios with limited aligned text-speech data. We also showcase the flexibility of our model to selectively maintain unimodal (e.g., text-to-text generation) generation performance by freezing the corresponding modal tower (e.g. text). In cross-modal tasks such as automatic speech recognition (ASR) where the output modality is text, we show that freezing the text backbone results in negligible performance degradation. In cross-modal tasks such as text-to-speech generation (TTS) where the output modality is speech, we show that using a pre-trained speech backbone results in superior performance to the baseline.