Tekstueel Voorgetrainde Spraaktaalmodellen

Textually Pretrained Speech Language Models

May 22, 2023

Auteurs: Michael Hassid, Tal Remez, Tu Anh Nguyen, Itai Gat, Alexis Conneau, Felix Kreuk, Jade Copet, Alexandre Defossez, Gabriel Synnaeve, Emmanuel Dupoux, Roy Schwartz, Yossi Adi

cs.AI

Samenvatting

Spraaktaalmodellen (SpeechLMs) verwerken en genereren alleen akoestische gegevens, zonder tekstuele supervisie. In dit werk stellen we TWIST voor, een methode voor het trainen van SpeechLMs met een warme start vanuit een voorgetraind tekstueel taalmodel. We tonen aan, zowel met automatische als menselijke evaluaties, dat TWIST op alle fronten beter presteert dan een koude-start SpeechLM. We analyseren empirisch het effect van verschillende modelontwerpkeuzes, zoals de spraaktokenizer, het voorgetrainde tekstuele model en de grootte van de dataset. We constateren dat zowel de schaal van het model als de dataset een belangrijke rol spelen bij het construeren van beter presterende SpeechLMs. Op basis van onze observaties presenteren we de grootste (voor zover wij weten) SpeechLM, zowel wat betreft het aantal parameters als de trainingsdata. Daarnaast introduceren we twee gesproken versies van de tekstuele benchmark StoryCloze om de modelevaluatie verder te verbeteren en toekomstig onderzoek in dit veld te bevorderen. Spraakvoorbeelden zijn te vinden op onze website: https://pages.cs.huji.ac.il/adiyoss-lab/twist/.

English

Speech language models (SpeechLMs) process and generate acoustic data only, without textual supervision. In this work, we propose TWIST, a method for training SpeechLMs using a warm-start from a pretrained textual language models. We show using both automatic and human evaluations that TWIST outperforms a cold-start SpeechLM across the board. We empirically analyze the effect of different model design choices such as the speech tokenizer, the pretrained textual model, and the dataset size. We find that model and dataset scale both play an important role in constructing better-performing SpeechLMs. Based on our observations, we present the largest (to the best of our knowledge) SpeechLM both in terms of number of parameters and training data. We additionally introduce two spoken versions of the StoryCloze textual benchmark to further improve model evaluation and advance future research in the field. Speech samples can be found on our website: https://pages.cs.huji.ac.il/adiyoss-lab/twist/ .