Modelli Linguistici Vocali con Pretestualizzazione

Textually Pretrained Speech Language Models

May 22, 2023

Autori: Michael Hassid, Tal Remez, Tu Anh Nguyen, Itai Gat, Alexis Conneau, Felix Kreuk, Jade Copet, Alexandre Defossez, Gabriel Synnaeve, Emmanuel Dupoux, Roy Schwartz, Yossi Adi

cs.AI

Abstract

I modelli linguistici per il parlato (SpeechLMs) elaborano e generano esclusivamente dati acustici, senza supervisione testuale. In questo lavoro, proponiamo TWIST, un metodo per addestrare SpeechLMs utilizzando un avvio caldo da modelli linguistici testuali preaddestrati. Dimostriamo, attraverso valutazioni sia automatiche che umane, che TWIST supera un SpeechLM avviato da zero in tutti gli aspetti. Analizziamo empiricamente l'effetto di diverse scelte progettuali del modello, come il tokenizer del parlato, il modello testuale preaddestrato e la dimensione del dataset. Scopriamo che sia la scala del modello che quella del dataset svolgono un ruolo importante nella costruzione di SpeechLMs con prestazioni migliori. Sulla base delle nostre osservazioni, presentiamo il più grande SpeechLM (a nostra conoscenza) sia in termini di numero di parametri che di dati di addestramento. Introduciamo inoltre due versioni parlate del benchmark testuale StoryCloze per migliorare ulteriormente la valutazione del modello e promuovere future ricerche nel campo. Campioni audio sono disponibili sul nostro sito: https://pages.cs.huji.ac.il/adiyoss-lab/twist/.

English

Speech language models (SpeechLMs) process and generate acoustic data only, without textual supervision. In this work, we propose TWIST, a method for training SpeechLMs using a warm-start from a pretrained textual language models. We show using both automatic and human evaluations that TWIST outperforms a cold-start SpeechLM across the board. We empirically analyze the effect of different model design choices such as the speech tokenizer, the pretrained textual model, and the dataset size. We find that model and dataset scale both play an important role in constructing better-performing SpeechLMs. Based on our observations, we present the largest (to the best of our knowledge) SpeechLM both in terms of number of parameters and training data. We additionally introduce two spoken versions of the StoryCloze textual benchmark to further improve model evaluation and advance future research in the field. Speech samples can be found on our website: https://pages.cs.huji.ac.il/adiyoss-lab/twist/ .