Em Direção à Modelagem Conjunta de Linguagem para Unidades de Fala e Texto

Toward Joint Language Modeling for Speech Units and Text

October 12, 2023

Autores: Ju-Chieh Chou, Chung-Ming Chien, Wei-Ning Hsu, Karen Livescu, Arun Babu, Alexis Conneau, Alexei Baevski, Michael Auli

cs.AI

Resumo

A fala e o texto são duas formas principais da linguagem humana. A comunidade de pesquisa tem se concentrado no mapeamento da fala para texto ou vice-versa por muitos anos. No entanto, no campo da modelagem de linguagem, muito pouco esforço tem sido feito para modelá-las conjuntamente. Diante disso, exploramos a modelagem conjunta de linguagem para unidades de fala e texto. Especificamente, comparamos diferentes tokenizadores de fala para transformar sinais de fala contínuos em unidades discretas e utilizamos diferentes métodos para construir dados mistos de fala e texto. Introduzimos métricas automáticas para avaliar quão bem o modelo de linguagem conjunta (LM) mistura fala e texto. Também ajustamos o LM em tarefas subsequentes de compreensão de linguagem falada (SLU) com diferentes modalidades (fala ou texto) e testamos seu desempenho para avaliar a aprendizagem de representações compartilhadas pelo modelo. Nossos resultados mostram que, ao misturar unidades de fala e texto com nossas técnicas de mistura propostas, o LM conjunto melhora em relação a uma linha de base apenas de fala em tarefas de SLU e demonstra transferibilidade cruzada de modalidade zero-shot.

English

Speech and text are two major forms of human language. The research community has been focusing on mapping speech to text or vice versa for many years. However, in the field of language modeling, very little effort has been made to model them jointly. In light of this, we explore joint language modeling for speech units and text. Specifically, we compare different speech tokenizers to transform continuous speech signals into discrete units and use different methods to construct mixed speech-text data. We introduce automatic metrics to evaluate how well the joint LM mixes speech and text. We also fine-tune the LM on downstream spoken language understanding (SLU) tasks with different modalities (speech or text) and test its performance to assess the model's learning of shared representations. Our results show that by mixing speech units and text with our proposed mixing techniques, the joint LM improves over a speech-only baseline on SLU tasks and shows zero-shot cross-modal transferability.