Melhorando Representações Conjuntas de Fala-Texto Sem Alinhamento

Improving Joint Speech-Text Representations Without Alignment

August 11, 2023

Autores: Cal Peyser, Zhong Meng, Ke Hu, Rohit Prabhavalkar, Andrew Rosenberg, Tara N. Sainath, Michael Picheny, Kyunghyun Cho

cs.AI

Resumo

O último ano testemunhou um progresso surpreendente na geração de imagens a partir de prompts de texto, baseada na ideia de um espaço de representação multimodal em que os domínios de texto e imagem são representados de forma conjunta. No reconhecimento automático de fala (ASR), essa ideia encontrou aplicação como codificadores conjuntos de fala e texto, que podem escalar para as capacidades de modelos com um número muito grande de parâmetros ao serem treinados tanto com fala quanto com texto não pareados. Embora esses métodos mostrem potencial, eles têm exigido um tratamento especial para a incompatibilidade inerente no comprimento das sequências de fala e texto, seja por meio de heurísticas de superamostragem ou de um modelo explícito de alinhamento. Neste trabalho, apresentamos evidências de que codificadores conjuntos de fala e texto naturalmente alcançam representações consistentes entre modalidades ao desconsiderar o comprimento da sequência, e argumentamos que perdas de consistência poderiam perdoar as diferenças de comprimento e simplesmente assumir o melhor alinhamento. Mostramos que tal perda melhora a taxa de erro de palavras (WER) em sistemas monolíngues e multilíngues com grande número de parâmetros.

English

The last year has seen astonishing progress in text-prompted image generation premised on the idea of a cross-modal representation space in which the text and image domains are represented jointly. In ASR, this idea has found application as joint speech-text encoders that can scale to the capacities of very large parameter models by being trained on both unpaired speech and text. While these methods show promise, they have required special treatment of the sequence-length mismatch inherent in speech and text, either by up-sampling heuristics or an explicit alignment model. In this work, we offer evidence that joint speech-text encoders naturally achieve consistent representations across modalities by disregarding sequence length, and argue that consistency losses could forgive length differences and simply assume the best alignment. We show that such a loss improves downstream WER in both a large-parameter monolingual and multilingual system.