SpiRit-LM: Interleavedes Sprachmodell für gesprochene und geschriebene Sprache

SpiRit-LM: Interleaved Spoken and Written Language Model

February 8, 2024

Autoren: Tu Anh Nguyen, Benjamin Muller, Bokai Yu, Marta R. Costa-jussa, Maha Elbayad, Sravya Popuri, Paul-Ambroise Duquenne, Robin Algayres, Ruslan Mavlyutov, Itai Gat, Gabriel Synnaeve, Juan Pino, Benoit Sagot, Emmanuel Dupoux

cs.AI

Zusammenfassung

Wir stellen SPIRIT-LM vor, ein multimodales Basissprachmodell, das Text und Sprache frei kombiniert. Unser Modell basiert auf einem vortrainierten Textsprachmodell, das wir durch kontinuierliches Training mit Text- und Spracheinheiten auf die Sprachmodalität erweitern. Sprach- und Textsequenzen werden als ein einziger Satz von Tokens verkettet und mit einer wortbasierten Verschachtelungsmethode unter Verwendung eines kleinen, automatisch kuratierten Sprach-Text-Parallelkorpus trainiert. SPIRIT-LM gibt es in zwei Versionen: eine BASIS-Version, die semantische Spracheinheiten verwendet, und eine EXPRESSIVE-Version, die zusätzlich zu den semantischen Einheiten auch Expressivität durch Tonhöhen- und Stileinheiten modelliert. Bei beiden Versionen wird der Text mit Subword-BPE-Tokens kodiert. Das resultierende Modell zeigt sowohl die semantischen Fähigkeiten von Textmodellen als auch die expressiven Fähigkeiten von Sprachmodellen. Darüber hinaus demonstrieren wir, dass SPIRIT-LM in der Lage ist, neue Aufgaben in einem Few-Shot-Verfahren über Modalitäten hinweg zu lernen (z. B. ASR, TTS, Sprachklassifikation).

English

We introduce SPIRIT-LM, a foundation multimodal language model that freely mixes text and speech. Our model is based on a pretrained text language model that we extend to the speech modality by continuously training it on text and speech units. Speech and text sequences are concatenated as a single set of tokens, and trained with a word-level interleaving method using a small automatically-curated speech-text parallel corpus. SPIRIT-LM comes in two versions: a BASE version that uses speech semantic units and an EXPRESSIVE version that models expressivity using pitch and style units in addition to the semantic units. For both versions, the text is encoded with subword BPE tokens. The resulting model displays both the semantic abilities of text models and the expressive abilities of speech models. Additionally, we demonstrate that SPIRIT-LM is able to learn new tasks in a few-shot fashion across modalities (i.e. ASR, TTS, Speech Classification).