К совместному языковому моделированию речевых единиц и текста

Toward Joint Language Modeling for Speech Units and Text

October 12, 2023

Авторы: Ju-Chieh Chou, Chung-Ming Chien, Wei-Ning Hsu, Karen Livescu, Arun Babu, Alexis Conneau, Alexei Baevski, Michael Auli

cs.AI

Аннотация

Речь и текст являются двумя основными формами человеческого языка. Научное сообщество на протяжении многих лет сосредоточено на преобразовании речи в текст и наоборот. Однако в области языкового моделирования было приложено очень мало усилий для их совместного моделирования. В связи с этим мы исследуем совместное языковое моделирование для речевых единиц и текста. В частности, мы сравниваем различные речевые токенизаторы для преобразования непрерывных речевых сигналов в дискретные единицы и используем различные методы для создания смешанных данных, содержащих речь и текст. Мы вводим автоматические метрики для оценки того, насколько хорошо совместная языковая модель (LM) объединяет речь и текст. Мы также дообучаем модель на задачах понимания устной речи (SLU) с использованием различных модальностей (речь или текст) и тестируем её производительность, чтобы оценить, насколько модель усваивает общие представления. Наши результаты показывают, что при объединении речевых единиц и текста с использованием предложенных нами методов смешивания, совместная LM превосходит базовую модель, работающую только с речью, на задачах SLU и демонстрирует кросс-модальную передачу знаний в режиме zero-shot.

English

Speech and text are two major forms of human language. The research community has been focusing on mapping speech to text or vice versa for many years. However, in the field of language modeling, very little effort has been made to model them jointly. In light of this, we explore joint language modeling for speech units and text. Specifically, we compare different speech tokenizers to transform continuous speech signals into discrete units and use different methods to construct mixed speech-text data. We introduce automatic metrics to evaluate how well the joint LM mixes speech and text. We also fine-tune the LM on downstream spoken language understanding (SLU) tasks with different modalities (speech or text) and test its performance to assess the model's learning of shared representations. Our results show that by mixing speech units and text with our proposed mixing techniques, the joint LM improves over a speech-only baseline on SLU tasks and shows zero-shot cross-modal transferability.