Het verbeteren van gezamenlijke spraak-tekst representaties zonder uitlijning

Improving Joint Speech-Text Representations Without Alignment

August 11, 2023

Auteurs: Cal Peyser, Zhong Meng, Ke Hu, Rohit Prabhavalkar, Andrew Rosenberg, Tara N. Sainath, Michael Picheny, Kyunghyun Cho

cs.AI

Samenvatting

Het afgelopen jaar heeft een verbazingwekkende vooruitgang gezien in het genereren van afbeeldingen op basis van tekstprompts, gebaseerd op het idee van een cross-modale representatieruimte waarin de tekst- en beeld domeinen gezamenlijk worden weergegeven. In ASR (Automatische Spraakherkenning) heeft dit idee toepassing gevonden als gezamenlijke spraak-tekst encoders die kunnen schalen naar de capaciteiten van zeer grote parametermodellen door te worden getraind op zowel ongepaarde spraak als tekst. Hoewel deze methoden veelbelovend zijn, hebben ze speciale behandeling vereist van de inherente mismatch in sequentielengte tussen spraak en tekst, hetzij door up-sampling heuristieken of een expliciet aligneringsmodel. In dit werk leveren we bewijs dat gezamenlijke spraak-tekst encoders van nature consistente representaties over modaliteiten bereiken door sequentielengte te negeren, en we beargumenteren dat consistentieverliezen lengteverschillen kunnen vergeven en simpelweg uitgaan van de beste alignering. We tonen aan dat een dergelijk verlies de downstream WER (Word Error Rate) verbetert in zowel een groot-parameter eentalig als meertalig systeem.

English

The last year has seen astonishing progress in text-prompted image generation premised on the idea of a cross-modal representation space in which the text and image domains are represented jointly. In ASR, this idea has found application as joint speech-text encoders that can scale to the capacities of very large parameter models by being trained on both unpaired speech and text. While these methods show promise, they have required special treatment of the sequence-length mismatch inherent in speech and text, either by up-sampling heuristics or an explicit alignment model. In this work, we offer evidence that joint speech-text encoders naturally achieve consistent representations across modalities by disregarding sequence length, and argue that consistency losses could forgive length differences and simply assume the best alignment. We show that such a loss improves downstream WER in both a large-parameter monolingual and multilingual system.