Avanzare nonostante i fallimenti: Migliorare la correzione degli errori generativi per ASR con dati sintetici e ampliamento del recupero

Failing Forward: Improving Generative Error Correction for ASR with Synthetic Data and Retrieval Augmentation

October 17, 2024

Autori: Sreyan Ghosh, Mohammad Sadegh Rasooli, Michael Levit, Peidong Wang, Jian Xue, Dinesh Manocha, Jinyu Li

cs.AI

Abstract

La correzione degli errori generativi (GEC) è emersa come un potente metodo di post-elaborazione per migliorare le prestazioni dei sistemi di riconoscimento vocale automatico (ASR). Tuttavia, dimostriamo che i modelli GEC faticano a generalizzare oltre i tipi specifici di errori incontrati durante l'addestramento, limitando la loro capacità di correggere nuovi errori non visti al momento del test, in particolare in scenari out-of-domain (OOD). Questo fenomeno si amplifica con le entità nominate (NE), dove, oltre a informazioni contestuali o conoscenze insufficienti sulle NE, continuano a emergere nuove NE. Per affrontare questi problemi, proponiamo DARAG (Data- and Retrieval-Augmented Generative Error Correction), un approccio innovativo progettato per migliorare la GEC per ASR in scenari in-domain (ID) e OOD. Arricchiamo il dataset di addestramento GEC con dati sintetici generati mediante la sollecitazione di LLM e modelli di text-to-speech, simulando così errori aggiuntivi da cui il modello può apprendere. Per scenari OOD, simuliamo errori al momento del test da nuovi domini in modo simile e in maniera non supervisionata. Inoltre, per gestire meglio le entità nominate, introduciamo una correzione arricchita da recupero, aggiungendo all'input entità recuperate da un database. Il nostro approccio è semplice, scalabile e agnostico rispetto al dominio e alla lingua. Sperimentiamo su più dataset e impostazioni, dimostrando che DARAG supera tutti i nostri baselines, ottenendo miglioramenti del WER relativi dell'8% al 30% in ID e del 10% al 33% in impostazioni OOD.

English

Generative Error Correction (GEC) has emerged as a powerful post-processing method to enhance the performance of Automatic Speech Recognition (ASR) systems. However, we show that GEC models struggle to generalize beyond the specific types of errors encountered during training, limiting their ability to correct new, unseen errors at test time, particularly in out-of-domain (OOD) scenarios. This phenomenon amplifies with named entities (NEs), where, in addition to insufficient contextual information or knowledge about the NEs, novel NEs keep emerging. To address these issues, we propose DARAG (Data- and Retrieval-Augmented Generative Error Correction), a novel approach designed to improve GEC for ASR in in-domain (ID) and OOD scenarios. We augment the GEC training dataset with synthetic data generated by prompting LLMs and text-to-speech models, thereby simulating additional errors from which the model can learn. For OOD scenarios, we simulate test-time errors from new domains similarly and in an unsupervised fashion. Additionally, to better handle named entities, we introduce retrieval-augmented correction by augmenting the input with entities retrieved from a database. Our approach is simple, scalable, and both domain- and language-agnostic. We experiment on multiple datasets and settings, showing that DARAG outperforms all our baselines, achieving 8\% -- 30\% relative WER improvements in ID and 10\% -- 33\% improvements in OOD settings.