Migliorare le rappresentazioni congiunte audio-testo senza allineamento

Improving Joint Speech-Text Representations Without Alignment

August 11, 2023

Autori: Cal Peyser, Zhong Meng, Ke Hu, Rohit Prabhavalkar, Andrew Rosenberg, Tara N. Sainath, Michael Picheny, Kyunghyun Cho

cs.AI

Abstract

L'anno scorso ha visto progressi sorprendenti nella generazione di immagini basata su prompt testuali, fondata sull'idea di uno spazio di rappresentazione cross-modale in cui i domini del testo e dell'immagine sono rappresentati congiuntamente. Nel campo del riconoscimento automatico del parlato (ASR), questa idea ha trovato applicazione sotto forma di encoder congiunti parlato-testo, che possono scalare fino alle capacità di modelli con un numero molto elevato di parametri grazie all'addestramento su dati di parlato e testo non accoppiati. Sebbene questi metodi mostrino promettenti risultati, hanno richiesto un trattamento speciale della discrepanza nella lunghezza delle sequenze, intrinseca al parlato e al testo, attraverso euristiche di up-sampling o un modello esplicito di allineamento. In questo lavoro, forniamo prove che gli encoder congiunti parlato-testo raggiungono naturalmente rappresentazioni coerenti tra le modalità ignorando la lunghezza delle sequenze, e sosteniamo che le funzioni di perdita basate sulla coerenza potrebbero perdonare le differenze di lunghezza e assumere semplicemente il miglior allineamento possibile. Dimostriamo che una tale perdita migliora il tasso di errore sulle parole (WER) a valle sia in un sistema monolingue con molti parametri che in uno multilingue.

English

The last year has seen astonishing progress in text-prompted image generation premised on the idea of a cross-modal representation space in which the text and image domains are represented jointly. In ASR, this idea has found application as joint speech-text encoders that can scale to the capacities of very large parameter models by being trained on both unpaired speech and text. While these methods show promise, they have required special treatment of the sequence-length mismatch inherent in speech and text, either by up-sampling heuristics or an explicit alignment model. In this work, we offer evidence that joint speech-text encoders naturally achieve consistent representations across modalities by disregarding sequence length, and argue that consistency losses could forgive length differences and simply assume the best alignment. We show that such a loss improves downstream WER in both a large-parameter monolingual and multilingual system.