SpiRit-LM : Modèle de Langage Entrelaçant Parole et Texte Écrit
SpiRit-LM: Interleaved Spoken and Written Language Model
February 8, 2024
Auteurs: Tu Anh Nguyen, Benjamin Muller, Bokai Yu, Marta R. Costa-jussa, Maha Elbayad, Sravya Popuri, Paul-Ambroise Duquenne, Robin Algayres, Ruslan Mavlyutov, Itai Gat, Gabriel Synnaeve, Juan Pino, Benoit Sagot, Emmanuel Dupoux
cs.AI
Résumé
Nous présentons SPIRIT-LM, un modèle de langage multimodal de base qui combine librement texte et parole. Notre modèle est basé sur un modèle de langage textuel pré-entraîné que nous étendons à la modalité de la parole en l'entraînant de manière continue sur des unités de texte et de parole. Les séquences de parole et de texte sont concaténées en un seul ensemble de tokens, et entraînées avec une méthode d'entrelacement au niveau des mots en utilisant un petit corpus parallèle parole-texte automatiquement constitué. SPIRIT-LM existe en deux versions : une version BASE qui utilise des unités sémantiques de parole et une version EXPRESSIVE qui modélise l'expressivité en utilisant des unités de hauteur et de style en plus des unités sémantiques. Pour les deux versions, le texte est encodé avec des tokens BPE de sous-mots. Le modèle résultant présente à la fois les capacités sémantiques des modèles textuels et les capacités expressives des modèles de parole. De plus, nous démontrons que SPIRIT-LM est capable d'apprendre de nouvelles tâches en quelques essais à travers les modalités (c'est-à-dire la reconnaissance automatique de la parole, la synthèse vocale, la classification de la parole).
English
We introduce SPIRIT-LM, a foundation multimodal language model that freely
mixes text and speech. Our model is based on a pretrained text language model
that we extend to the speech modality by continuously training it on text and
speech units. Speech and text sequences are concatenated as a single set of
tokens, and trained with a word-level interleaving method using a small
automatically-curated speech-text parallel corpus. SPIRIT-LM comes in two
versions: a BASE version that uses speech semantic units and an EXPRESSIVE
version that models expressivity using pitch and style units in addition to the
semantic units. For both versions, the text is encoded with subword BPE tokens.
The resulting model displays both the semantic abilities of text models and the
expressive abilities of speech models. Additionally, we demonstrate that
SPIRIT-LM is able to learn new tasks in a few-shot fashion across modalities
(i.e. ASR, TTS, Speech Classification).