Продвижение вперед, несмотря на неудачи: улучшение генеративной коррекции ошибок для ASR с использованием синтетических данных и увеличения поиска.

Failing Forward: Improving Generative Error Correction for ASR with Synthetic Data and Retrieval Augmentation

October 17, 2024

Авторы: Sreyan Ghosh, Mohammad Sadegh Rasooli, Michael Levit, Peidong Wang, Jian Xue, Dinesh Manocha, Jinyu Li

cs.AI

Аннотация

Генеративная коррекция ошибок (GEC) стала мощным методом постобработки для улучшения производительности систем автоматического распознавания речи (ASR). Однако мы показываем, что модели GEC испытывают трудности с обобщением за пределы конкретных типов ошибок, с которыми они сталкиваются во время обучения, что ограничивает их способность исправлять новые, невидимые ошибки на этапе тестирования, особенно в сценариях вне области (OOD). Этот феномен усиливается с именованными сущностями (NE), где, помимо недостаточной контекстуальной информации или знаний о NE, появляются новые NE. Для решения этих проблем мы предлагаем DARAG (Data- and Retrieval-Augmented Generative Error Correction), новый подход, разработанный для улучшения GEC для ASR в сценариях как внутри области (ID), так и вне ее (OOD). Мы дополняем обучающий набор данных GEC синтетическими данными, сгенерированными путем подачи LLMs и моделей текст в речь, тем самым имитируя дополнительные ошибки, на которых модель может учиться. Для сценариев вне области мы аналогично и без участия учителя имитируем ошибки на этапе тестирования из новых областей. Кроме того, для более эффективной работы с именованными сущностями мы вводим коррекцию с учетом извлечения путем дополнения ввода сущностями, извлеченными из базы данных. Наш подход прост, масштабируем и не зависит от области и языка. Мы проводим эксперименты на нескольких наборах данных и настройках, показывая, что DARAG превосходит все наши базовые варианты, достигая улучшений относительно WER на уровне 8\% -- 30\% в сценариях ID и на уровне 10\% -- 33\% в сценариях OOD.

English

Generative Error Correction (GEC) has emerged as a powerful post-processing method to enhance the performance of Automatic Speech Recognition (ASR) systems. However, we show that GEC models struggle to generalize beyond the specific types of errors encountered during training, limiting their ability to correct new, unseen errors at test time, particularly in out-of-domain (OOD) scenarios. This phenomenon amplifies with named entities (NEs), where, in addition to insufficient contextual information or knowledge about the NEs, novel NEs keep emerging. To address these issues, we propose DARAG (Data- and Retrieval-Augmented Generative Error Correction), a novel approach designed to improve GEC for ASR in in-domain (ID) and OOD scenarios. We augment the GEC training dataset with synthetic data generated by prompting LLMs and text-to-speech models, thereby simulating additional errors from which the model can learn. For OOD scenarios, we simulate test-time errors from new domains similarly and in an unsupervised fashion. Additionally, to better handle named entities, we introduce retrieval-augmented correction by augmenting the input with entities retrieved from a database. Our approach is simple, scalable, and both domain- and language-agnostic. We experiment on multiple datasets and settings, showing that DARAG outperforms all our baselines, achieving 8\% -- 30\% relative WER improvements in ID and 10\% -- 33\% improvements in OOD settings.