Улучшение совместных речевых и текстовых представлений без выравнивания

Improving Joint Speech-Text Representations Without Alignment

August 11, 2023

Авторы: Cal Peyser, Zhong Meng, Ke Hu, Rohit Prabhavalkar, Andrew Rosenberg, Tara N. Sainath, Michael Picheny, Kyunghyun Cho

cs.AI

Аннотация

За последний год был достигнут впечатляющий прогресс в генерации изображений на основе текстовых запросов, основанной на идее кросс-модального пространства представлений, в котором текстовые и визуальные домены представлены совместно. В области автоматического распознавания речи (ASR) эта идея нашла применение в виде совместных кодировщиков речи и текста, которые могут масштабироваться до возможностей моделей с очень большим количеством параметров благодаря обучению на непарных данных речи и текста. Хотя эти методы демонстрируют перспективность, они требуют специального подхода к обработке несоответствия длины последовательностей, присущего речи и тексту, либо с помощью эвристик повышения частоты дискретизации, либо с использованием явной модели выравнивания. В данной работе мы предоставляем доказательства того, что совместные кодировщики речи и текста естественным образом достигают согласованных представлений между модальностями, игнорируя длину последовательностей, и утверждаем, что функции потерь на согласованность могут прощать различия в длине и просто предполагать наилучшее выравнивание. Мы показываем, что такая функция потерь улучшает показатель WER (Word Error Rate) как в крупнопараметрической монолингвальной, так и в многоязычной системе.

English

The last year has seen astonishing progress in text-prompted image generation premised on the idea of a cross-modal representation space in which the text and image domains are represented jointly. In ASR, this idea has found application as joint speech-text encoders that can scale to the capacities of very large parameter models by being trained on both unpaired speech and text. While these methods show promise, they have required special treatment of the sequence-length mismatch inherent in speech and text, either by up-sampling heuristics or an explicit alignment model. In this work, we offer evidence that joint speech-text encoders naturally achieve consistent representations across modalities by disregarding sequence length, and argue that consistency losses could forgive length differences and simply assume the best alignment. We show that such a loss improves downstream WER in both a large-parameter monolingual and multilingual system.