Modèles de Langage Parlé Pré-entraînés Textuellement
Textually Pretrained Speech Language Models
May 22, 2023
Auteurs: Michael Hassid, Tal Remez, Tu Anh Nguyen, Itai Gat, Alexis Conneau, Felix Kreuk, Jade Copet, Alexandre Defossez, Gabriel Synnaeve, Emmanuel Dupoux, Roy Schwartz, Yossi Adi
cs.AI
Résumé
Les modèles de langage acoustique (SpeechLMs) traitent et génèrent exclusivement des données acoustiques, sans supervision textuelle. Dans ce travail, nous proposons TWIST, une méthode pour entraîner des SpeechLMs en utilisant un démarrage à chaud à partir de modèles de langage textuel pré-entraînés. Nous démontrons, à l'aide d'évaluations automatiques et humaines, que TWIST surpasse un SpeechLM démarré à froid sur tous les aspects. Nous analysons empiriquement l'effet de différents choix de conception de modèle, tels que le tokeniseur acoustique, le modèle textuel pré-entraîné et la taille du jeu de données. Nous constatons que l'échelle du modèle et celle des données jouent toutes deux un rôle important dans la construction de SpeechLMs plus performants. Sur la base de nos observations, nous présentons le plus grand SpeechLM (à notre connaissance) en termes de nombre de paramètres et de données d'entraînement. Nous introduisons également deux versions orales du benchmark textuel StoryCloze afin d'améliorer l'évaluation des modèles et de faire progresser les recherches futures dans ce domaine. Des échantillons audio sont disponibles sur notre site web : https://pages.cs.huji.ac.il/adiyoss-lab/twist/ .
English
Speech language models (SpeechLMs) process and generate acoustic data only,
without textual supervision. In this work, we propose TWIST, a method for
training SpeechLMs using a warm-start from a pretrained textual language
models. We show using both automatic and human evaluations that TWIST
outperforms a cold-start SpeechLM across the board. We empirically analyze the
effect of different model design choices such as the speech tokenizer, the
pretrained textual model, and the dataset size. We find that model and dataset
scale both play an important role in constructing better-performing SpeechLMs.
Based on our observations, we present the largest (to the best of our
knowledge) SpeechLM both in terms of number of parameters and training data. We
additionally introduce two spoken versions of the StoryCloze textual benchmark
to further improve model evaluation and advance future research in the field.
Speech samples can be found on our website:
https://pages.cs.huji.ac.il/adiyoss-lab/twist/ .