Modelos de Linguagem de Fala Pré-treinados Textualmente

Textually Pretrained Speech Language Models

May 22, 2023

Autores: Michael Hassid, Tal Remez, Tu Anh Nguyen, Itai Gat, Alexis Conneau, Felix Kreuk, Jade Copet, Alexandre Defossez, Gabriel Synnaeve, Emmanuel Dupoux, Roy Schwartz, Yossi Adi

cs.AI

Resumo

Modelos de linguagem de fala (SpeechLMs) processam e geram dados acústicos exclusivamente, sem supervisão textual. Neste trabalho, propomos o TWIST, um método para treinar SpeechLMs utilizando uma inicialização a partir de modelos de linguagem textual pré-treinados. Demonstramos, por meio de avaliações automáticas e humanas, que o TWIST supera um SpeechLM iniciado do zero em todos os aspectos. Analisamos empiricamente o efeito de diferentes escolhas de design do modelo, como o tokenizador de fala, o modelo textual pré-treinado e o tamanho do conjunto de dados. Constatamos que a escala do modelo e do conjunto de dados desempenham um papel importante na construção de SpeechLMs com melhor desempenho. Com base em nossas observações, apresentamos o maior SpeechLM (até onde sabemos) tanto em termos de número de parâmetros quanto de dados de treinamento. Além disso, introduzimos duas versões faladas do benchmark textual StoryCloze para aprimorar a avaliação do modelo e impulsionar pesquisas futuras na área. Amostras de fala podem ser encontradas em nosso site: https://pages.cs.huji.ac.il/adiyoss-lab/twist/.

English

Speech language models (SpeechLMs) process and generate acoustic data only, without textual supervision. In this work, we propose TWIST, a method for training SpeechLMs using a warm-start from a pretrained textual language models. We show using both automatic and human evaluations that TWIST outperforms a cold-start SpeechLM across the board. We empirically analyze the effect of different model design choices such as the speech tokenizer, the pretrained textual model, and the dataset size. We find that model and dataset scale both play an important role in constructing better-performing SpeechLMs. Based on our observations, we present the largest (to the best of our knowledge) SpeechLM both in terms of number of parameters and training data. We additionally introduce two spoken versions of the StoryCloze textual benchmark to further improve model evaluation and advance future research in the field. Speech samples can be found on our website: https://pages.cs.huji.ac.il/adiyoss-lab/twist/ .