DiarizationLM: Postprocesamiento de Diarización de Hablantes con Modelos de Lenguaje a Gran Escala

DiarizationLM: Speaker Diarization Post-Processing with Large Language Models

January 7, 2024

Autores: Quan Wang, Yiling Huang, Guanlong Zhao, Evan Clark, Wei Xia, Hank Liao

cs.AI

Resumen

En este artículo presentamos DiarizationLM, un marco de trabajo que aprovecha los modelos de lenguaje de gran escala (LLM) para post-procesar los resultados de un sistema de diarización de hablantes. Con este marco propuesto se pueden lograr diversos objetivos, como mejorar la legibilidad de la transcripción diarizada o reducir la tasa de error de diarización de palabras (WDER). En este marco, los resultados de los sistemas de reconocimiento automático del habla (ASR) y de diarización de hablantes se representan en un formato textual compacto, que se incluye en el prompt de un LLM opcionalmente ajustado. Las salidas del LLM pueden utilizarse como resultados refinados de diarización con la mejora deseada. Como paso de post-procesamiento, este marco puede aplicarse fácilmente a cualquier sistema ASR y de diarización de hablantes disponible sin necesidad de reentrenar los componentes existentes. Nuestros experimentos muestran que un modelo PaLM 2-S ajustado puede reducir el WDER en un 25,9% relativo en el conjunto de datos de conversaciones telefónicas Fisher y en un 31% relativo en el conjunto de datos Callhome English.

English

In this paper, we introduce DiarizationLM, a framework to leverage large language models (LLM) to post-process the outputs from a speaker diarization system. Various goals can be achieved with the proposed framework, such as improving the readability of the diarized transcript, or reducing the word diarization error rate (WDER). In this framework, the outputs of the automatic speech recognition (ASR) and speaker diarization systems are represented as a compact textual format, which is included in the prompt to an optionally finetuned LLM. The outputs of the LLM can be used as the refined diarization results with the desired enhancement. As a post-processing step, this framework can be easily applied to any off-the-shelf ASR and speaker diarization systems without retraining existing components. Our experiments show that a finetuned PaLM 2-S model can reduce the WDER by rel. 25.9% on the Fisher telephone conversation dataset, and rel. 31% on the Callhome English dataset.