Avançando apesar dos erros: Melhorando a correção de erros generativa para ASR com dados sintéticos e aumento de recuperação.

Failing Forward: Improving Generative Error Correction for ASR with Synthetic Data and Retrieval Augmentation

October 17, 2024

Autores: Sreyan Ghosh, Mohammad Sadegh Rasooli, Michael Levit, Peidong Wang, Jian Xue, Dinesh Manocha, Jinyu Li

cs.AI

Resumo

A Correção de Erros Generativa (GEC) surgiu como um método poderoso de pós-processamento para aprimorar o desempenho dos sistemas de Reconhecimento Automático de Fala (ASR). No entanto, demonstramos que os modelos de GEC têm dificuldade em generalizar além dos tipos específicos de erros encontrados durante o treinamento, limitando sua capacidade de corrigir novos erros não vistos no momento do teste, especialmente em cenários fora do domínio (OOD). Esse fenômeno se intensifica com entidades nomeadas (NEs), onde, além da informação contextual insuficiente ou do conhecimento sobre as NEs, novas NEs continuam surgindo. Para lidar com essas questões, propomos DARAG (Correção de Erros Generativa Aumentada por Dados e Recuperação), uma abordagem inovadora projetada para melhorar o GEC para ASR em cenários dentro do domínio (ID) e fora do domínio (OOD). Nós aumentamos o conjunto de dados de treinamento do GEC com dados sintéticos gerados por meio de prompts de LLMs e modelos de texto para fala, simulando assim erros adicionais dos quais o modelo pode aprender. Para cenários fora do domínio, simulamos erros no momento do teste a partir de novos domínios de maneira semelhante e de forma não supervisionada. Além disso, para lidar melhor com entidades nomeadas, introduzimos a correção aumentada por recuperação, ao aumentar a entrada com entidades recuperadas de um banco de dados. Nossa abordagem é simples, escalável e agnóstica em relação ao domínio e à linguagem. Realizamos experimentos em vários conjuntos de dados e configurações, mostrando que o DARAG supera todos os nossos baselines, alcançando melhorias de 8\% - 30\% no WER relativo em cenários dentro do domínio e melhorias de 10\% - 33\% em configurações fora do domínio.

English

Generative Error Correction (GEC) has emerged as a powerful post-processing method to enhance the performance of Automatic Speech Recognition (ASR) systems. However, we show that GEC models struggle to generalize beyond the specific types of errors encountered during training, limiting their ability to correct new, unseen errors at test time, particularly in out-of-domain (OOD) scenarios. This phenomenon amplifies with named entities (NEs), where, in addition to insufficient contextual information or knowledge about the NEs, novel NEs keep emerging. To address these issues, we propose DARAG (Data- and Retrieval-Augmented Generative Error Correction), a novel approach designed to improve GEC for ASR in in-domain (ID) and OOD scenarios. We augment the GEC training dataset with synthetic data generated by prompting LLMs and text-to-speech models, thereby simulating additional errors from which the model can learn. For OOD scenarios, we simulate test-time errors from new domains similarly and in an unsupervised fashion. Additionally, to better handle named entities, we introduce retrieval-augmented correction by augmenting the input with entities retrieved from a database. Our approach is simple, scalable, and both domain- and language-agnostic. We experiment on multiple datasets and settings, showing that DARAG outperforms all our baselines, achieving 8\% -- 30\% relative WER improvements in ID and 10\% -- 33\% improvements in OOD settings.