Текстуально предобученные языковые модели для речи
Textually Pretrained Speech Language Models
May 22, 2023
Авторы: Michael Hassid, Tal Remez, Tu Anh Nguyen, Itai Gat, Alexis Conneau, Felix Kreuk, Jade Copet, Alexandre Defossez, Gabriel Synnaeve, Emmanuel Dupoux, Roy Schwartz, Yossi Adi
cs.AI
Аннотация
Речевые языковые модели (SpeechLMs) обрабатывают и генерируют только акустические данные без использования текстового надзора. В данной работе мы предлагаем метод TWIST для обучения SpeechLMs с использованием "теплого старта" на основе предварительно обученных текстовых языковых моделей. Мы демонстрируем с помощью как автоматических, так и человеческих оценок, что TWIST превосходит SpeechLM, обученную с "холодного старта", по всем параметрам. Мы эмпирически анализируем влияние различных решений в проектировании модели, таких как выбор речевого токенизатора, предварительно обученной текстовой модели и размера набора данных. Мы обнаруживаем, что масштаб модели и набора данных играют важную роль в создании более эффективных SpeechLMs. На основе наших наблюдений мы представляем (насколько нам известно) самую крупную SpeechLM как по количеству параметров, так и по объему обучающих данных. Дополнительно мы вводим две устные версии текстового бенчмарка StoryCloze для улучшения оценки моделей и продвижения будущих исследований в этой области. Примеры речевых данных можно найти на нашем сайте: https://pages.cs.huji.ac.il/adiyoss-lab/twist/.
English
Speech language models (SpeechLMs) process and generate acoustic data only,
without textual supervision. In this work, we propose TWIST, a method for
training SpeechLMs using a warm-start from a pretrained textual language
models. We show using both automatic and human evaluations that TWIST
outperforms a cold-start SpeechLM across the board. We empirically analyze the
effect of different model design choices such as the speech tokenizer, the
pretrained textual model, and the dataset size. We find that model and dataset
scale both play an important role in constructing better-performing SpeechLMs.
Based on our observations, we present the largest (to the best of our
knowledge) SpeechLM both in terms of number of parameters and training data. We
additionally introduce two spoken versions of the StoryCloze textual benchmark
to further improve model evaluation and advance future research in the field.
Speech samples can be found on our website:
https://pages.cs.huji.ac.il/adiyoss-lab/twist/ .