Zipper: モダリティ融合のためのマルチタワーデコーダアーキテクチャ

Zipper: A Multi-Tower Decoder Architecture for Fusing Modalities

May 29, 2024

著者: Vicky Zayats, Peter Chen, Melissa Merrari, Dirk Padfield

cs.AI

要旨

複数の生成基盤モデル、特に異なるモダリティで学習されたモデルを統合し、その部分の総和を超える何かを実現することは、大きな課題を伴います。主な障壁として、アラインメントされたデータ（異なるモダリティで異なる表現を持つが、類似した意味を含む概念）の可用性、およびクロスドメイン生成タスクにおいて単一モダリティ表現を効果的に活用しつつ、元の単一モダリティ能力を損なわないことが挙げられます。 我々は、これらの課題に対処するため、独立して事前学習された単一モダリティデコーダをクロスアテンションを用いて柔軟に組み合わせるマルチタワーデコーダアーキテクチャ「Zipper」を提案します。音声とテキストのモダリティを融合する実験において、提案されたアーキテクチャが、アラインメントされたテキスト-音声データが限られたシナリオでも非常に競争力のある性能を発揮することを示します。また、対応するモダリティタワー（例：テキスト）を凍結することで、単一モダリティ（例：テキストからテキストへの生成）の生成性能を選択的に維持するモデルの柔軟性も実証します。自動音声認識（ASR）のような出力モダリティがテキストであるクロスモーダルタスクでは、テキストバックボーンを凍結しても性能の低下がほとんどないことを示します。テキストから音声生成（TTS）のような出力モダリティが音声であるクロスモーダルタスクでは、事前学習された音声バックボーンを使用することでベースラインを上回る性能を達成することを示します。

English

Integrating multiple generative foundation models, especially those trained on different modalities, into something greater than the sum of its parts poses significant challenges. Two key hurdles are the availability of aligned data (concepts that contain similar meaning but is expressed differently in different modalities), and effectively leveraging unimodal representations in cross-domain generative tasks, without compromising their original unimodal capabilities. We propose Zipper, a multi-tower decoder architecture that addresses these concerns by using cross-attention to flexibly compose multimodal generative models from independently pre-trained unimodal decoders. In our experiments fusing speech and text modalities, we show the proposed architecture performs very competitively in scenarios with limited aligned text-speech data. We also showcase the flexibility of our model to selectively maintain unimodal (e.g., text-to-text generation) generation performance by freezing the corresponding modal tower (e.g. text). In cross-modal tasks such as automatic speech recognition (ASR) where the output modality is text, we show that freezing the text backbone results in negligible performance degradation. In cross-modal tasks such as text-to-speech generation (TTS) where the output modality is speech, we show that using a pre-trained speech backbone results in superior performance to the baseline.