SpiRit-LM: Modello Linguistico Intervallato per Lingua Parlata e Scritta

SpiRit-LM: Interleaved Spoken and Written Language Model

February 8, 2024

Autori: Tu Anh Nguyen, Benjamin Muller, Bokai Yu, Marta R. Costa-jussa, Maha Elbayad, Sravya Popuri, Paul-Ambroise Duquenne, Robin Algayres, Ruslan Mavlyutov, Itai Gat, Gabriel Synnaeve, Juan Pino, Benoit Sagot, Emmanuel Dupoux

cs.AI

Abstract

Presentiamo SPIRIT-LM, un modello linguistico multimodale di base che combina liberamente testo e parlato. Il nostro modello si basa su un modello linguistico di testo preaddestrato che estendiamo alla modalità del parlato attraverso un addestramento continuo su unità di testo e parlato. Le sequenze di parlato e testo vengono concatenate in un unico insieme di token e addestrate con un metodo di intercalazione a livello di parola utilizzando un piccolo corpus parallelo parlato-testo curato automaticamente. SPIRIT-LM è disponibile in due versioni: una versione BASE che utilizza unità semantiche del parlato e una versione EXPRESSIVE che modella l'espressività utilizzando unità di tono e stile oltre alle unità semantiche. In entrambe le versioni, il testo è codificato con token BPE sublessicali. Il modello risultante mostra sia le capacità semantiche dei modelli di testo che le capacità espressive dei modelli di parlato. Inoltre, dimostriamo che SPIRIT-LM è in grado di apprendere nuovi task in modalità few-shot attraverso diverse modalità (ad esempio, ASR, TTS, classificazione del parlato).

English

We introduce SPIRIT-LM, a foundation multimodal language model that freely mixes text and speech. Our model is based on a pretrained text language model that we extend to the speech modality by continuously training it on text and speech units. Speech and text sequences are concatenated as a single set of tokens, and trained with a word-level interleaving method using a small automatically-curated speech-text parallel corpus. SPIRIT-LM comes in two versions: a BASE version that uses speech semantic units and an EXPRESSIVE version that models expressivity using pitch and style units in addition to the semantic units. For both versions, the text is encoded with subword BPE tokens. The resulting model displays both the semantic abilities of text models and the expressive abilities of speech models. Additionally, we demonstrate that SPIRIT-LM is able to learn new tasks in a few-shot fashion across modalities (i.e. ASR, TTS, Speech Classification).