Verbesserung gemeinsamer Sprach-Text-Repräsentationen ohne Ausrichtung

Improving Joint Speech-Text Representations Without Alignment

August 11, 2023

Autoren: Cal Peyser, Zhong Meng, Ke Hu, Rohit Prabhavalkar, Andrew Rosenberg, Tara N. Sainath, Michael Picheny, Kyunghyun Cho

cs.AI

Zusammenfassung

Das vergangene Jahr hat erstaunliche Fortschritte bei der textgesteuerten Bildgenerierung gezeigt, die auf der Idee eines cross-modalen Repräsentationsraums basiert, in dem die Text- und Bilddomänen gemeinsam dargestellt werden. In der automatischen Spracherkennung (ASR) hat diese Idee Anwendung in Form von gemeinsamen Sprach-Text-Encodern gefunden, die durch das Training auf ungepaarten Sprach- und Textdaten auf die Kapazitäten sehr großer Parametermodelle skaliert werden können. Obwohl diese Methoden vielversprechend sind, erforderten sie eine spezielle Behandlung der inhärenten Sequenzlängenunterschiede zwischen Sprache und Text, entweder durch Upsampling-Heuristiken oder ein explizites Ausrichtungsmodell. In dieser Arbeit liefern wir Belege dafür, dass gemeinsame Sprach-Text-Encoder natürlicherweise konsistente Repräsentationen über Modalitäten hinweg erreichen, indem sie die Sequenzlänge ignorieren, und argumentieren, dass Konsistenzverluste Längenunterschiede verzeihen und einfach die beste Ausrichtung annehmen könnten. Wir zeigen, dass ein solcher Verlust die nachgelagerte Wortfehlerrate (WER) sowohl in einem großen monolingualen als auch in einem multilingualen System verbessert.

English

The last year has seen astonishing progress in text-prompted image generation premised on the idea of a cross-modal representation space in which the text and image domains are represented jointly. In ASR, this idea has found application as joint speech-text encoders that can scale to the capacities of very large parameter models by being trained on both unpaired speech and text. While these methods show promise, they have required special treatment of the sequence-length mismatch inherent in speech and text, either by up-sampling heuristics or an explicit alignment model. In this work, we offer evidence that joint speech-text encoders naturally achieve consistent representations across modalities by disregarding sequence length, and argue that consistency losses could forgive length differences and simply assume the best alignment. We show that such a loss improves downstream WER in both a large-parameter monolingual and multilingual system.