DiarizationLM: Sprekerdiarisatie Nabewerking met Grote Taalmodellen

DiarizationLM: Speaker Diarization Post-Processing with Large Language Models

January 7, 2024

Auteurs: Quan Wang, Yiling Huang, Guanlong Zhao, Evan Clark, Wei Xia, Hank Liao

cs.AI

Samenvatting

In dit artikel introduceren we DiarizationLM, een raamwerk om grote taalmodellen (LLM) te benutten voor het nabewerken van de uitvoer van een sprekerdiarizatiesysteem. Met het voorgestelde raamwerk kunnen verschillende doelen worden bereikt, zoals het verbeteren van de leesbaarheid van het gediarizeerde transcript of het verlagen van het woorddiarizatiefoutpercentage (WDER). In dit raamwerk worden de uitvoer van het automatische spraakherkenningssysteem (ASR) en het sprekerdiarizatiesysteem weergegeven als een compact tekstformaat, dat wordt opgenomen in de prompt voor een optioneel gefinetuned LLM. De uitvoer van het LLM kan worden gebruikt als de verfijnde diarizatieresultaten met de gewenste verbetering. Als een nabewerkingsstap kan dit raamwerk eenvoudig worden toegepast op elk kant-en-klaar ASR- en sprekerdiarizatiesysteem zonder bestaande componenten opnieuw te trainen. Onze experimenten tonen aan dat een gefinetuned PaLM 2-S-model het WDER met rel. 25,9% kan verlagen op de Fisher-telefoongesprekdataset en met rel. 31% op de Callhome English-dataset.

English

In this paper, we introduce DiarizationLM, a framework to leverage large language models (LLM) to post-process the outputs from a speaker diarization system. Various goals can be achieved with the proposed framework, such as improving the readability of the diarized transcript, or reducing the word diarization error rate (WDER). In this framework, the outputs of the automatic speech recognition (ASR) and speaker diarization systems are represented as a compact textual format, which is included in the prompt to an optionally finetuned LLM. The outputs of the LLM can be used as the refined diarization results with the desired enhancement. As a post-processing step, this framework can be easily applied to any off-the-shelf ASR and speaker diarization systems without retraining existing components. Our experiments show that a finetuned PaLM 2-S model can reduce the WDER by rel. 25.9% on the Fisher telephone conversation dataset, and rel. 31% on the Callhome English dataset.