Zipper: Eine Mehr-Turm-Decoder-Architektur zum Verschmelzen von Modalitäten

Zipper: A Multi-Tower Decoder Architecture for Fusing Modalities

May 29, 2024

papers.authors: Vicky Zayats, Peter Chen, Melissa Merrari, Dirk Padfield

cs.AI

papers.abstract

Die Integration mehrerer generativer Grundlagenmodelle, insbesondere solche, die auf verschiedenen Modalitäten trainiert wurden, zu etwas Größerem als die Summe seiner Teile, birgt erhebliche Herausforderungen. Zwei Schlüsselhindernisse sind die Verfügbarkeit von abgeglichenen Daten (Konzepte, die eine ähnliche Bedeutung haben, aber in verschiedenen Modalitäten unterschiedlich ausgedrückt werden) und die effektive Nutzung unimodaler Repräsentationen bei generativen Aufgaben zwischen verschiedenen Domänen, ohne ihre ursprünglichen unimodalen Fähigkeiten zu beeinträchtigen. Wir schlagen Zipper vor, eine Architektur mit mehreren Türmen, die diese Anliegen durch die Verwendung von Cross-Attention angeht, um multimodale generative Modelle flexibel aus unabhängig vortrainierten unimodalen Decodern zusammenzusetzen. In unseren Experimenten zur Fusion von Sprach- und Textmodalitäten zeigen wir, dass die vorgeschlagene Architektur in Szenarien mit begrenzten abgeglichenen Text-Sprach-Daten sehr wettbewerbsfähig abschneidet. Wir präsentieren auch die Flexibilität unseres Modells, die unimodale (z. B. Text-zu-Text-Generierung) Generationsleistung selektiv beizubehalten, indem der entsprechende Modalturm (z. B. Text) eingefroren wird. Bei cross-modalen Aufgaben wie der automatischen Spracherkennung (ASR), bei der die Ausgabemodalität Text ist, zeigen wir, dass das Einfrieren des Text-Backbones zu vernachlässigbaren Leistungseinbußen führt. Bei cross-modalen Aufgaben wie der Text-zu-Sprache-Generierung (TTS), bei der die Ausgabemodalität Sprache ist, zeigen wir, dass die Verwendung eines vortrainierten Sprach-Backbones zu einer überlegenen Leistung im Vergleich zum Ausgangspunkt führt.

English

Integrating multiple generative foundation models, especially those trained on different modalities, into something greater than the sum of its parts poses significant challenges. Two key hurdles are the availability of aligned data (concepts that contain similar meaning but is expressed differently in different modalities), and effectively leveraging unimodal representations in cross-domain generative tasks, without compromising their original unimodal capabilities. We propose Zipper, a multi-tower decoder architecture that addresses these concerns by using cross-attention to flexibly compose multimodal generative models from independently pre-trained unimodal decoders. In our experiments fusing speech and text modalities, we show the proposed architecture performs very competitively in scenarios with limited aligned text-speech data. We also showcase the flexibility of our model to selectively maintain unimodal (e.g., text-to-text generation) generation performance by freezing the corresponding modal tower (e.g. text). In cross-modal tasks such as automatic speech recognition (ASR) where the output modality is text, we show that freezing the text backbone results in negligible performance degradation. In cross-modal tasks such as text-to-speech generation (TTS) where the output modality is speech, we show that using a pre-trained speech backbone results in superior performance to the baseline.