DiarizationLM: Post-Elaborazione della Diarizzazione del Parlante con Modelli Linguistici di Grande Dimensione

DiarizationLM: Speaker Diarization Post-Processing with Large Language Models

January 7, 2024

Autori: Quan Wang, Yiling Huang, Guanlong Zhao, Evan Clark, Wei Xia, Hank Liao

cs.AI

Abstract

In questo articolo presentiamo DiarizationLM, un framework che sfrutta i grandi modelli linguistici (LLM) per post-elaborare gli output di un sistema di diarizzazione del parlato. Con il framework proposto è possibile raggiungere vari obiettivi, come migliorare la leggibilità della trascrizione diarizzata o ridurre il tasso di errore di diarizzazione delle parole (WDER). In questo framework, gli output dei sistemi di riconoscimento vocale automatico (ASR) e di diarizzazione del parlato vengono rappresentati in un formato testuale compatto, che viene incluso nel prompt di un LLM opzionalmente addestrato. Gli output dell'LLM possono essere utilizzati come risultati di diarizzazione raffinati con il miglioramento desiderato. Come passaggio di post-elaborazione, questo framework può essere facilmente applicato a qualsiasi sistema ASR e di diarizzazione del parlato disponibile sul mercato senza dover riaddestrare i componenti esistenti. I nostri esperimenti dimostrano che un modello PaLM 2-S addestrato può ridurre il WDER del 25,9% relativo sul dataset di conversazioni telefoniche Fisher e del 31% relativo sul dataset Callhome English.

English

In this paper, we introduce DiarizationLM, a framework to leverage large language models (LLM) to post-process the outputs from a speaker diarization system. Various goals can be achieved with the proposed framework, such as improving the readability of the diarized transcript, or reducing the word diarization error rate (WDER). In this framework, the outputs of the automatic speech recognition (ASR) and speaker diarization systems are represented as a compact textual format, which is included in the prompt to an optionally finetuned LLM. The outputs of the LLM can be used as the refined diarization results with the desired enhancement. As a post-processing step, this framework can be easily applied to any off-the-shelf ASR and speaker diarization systems without retraining existing components. Our experiments show that a finetuned PaLM 2-S model can reduce the WDER by rel. 25.9% on the Fisher telephone conversation dataset, and rel. 31% on the Callhome English dataset.