DiarizationLM: Sprecher-Diarisierung-Nachbearbeitung mit großen Sprachmodellen

DiarizationLM: Speaker Diarization Post-Processing with Large Language Models

January 7, 2024

Autoren: Quan Wang, Yiling Huang, Guanlong Zhao, Evan Clark, Wei Xia, Hank Liao

cs.AI

Zusammenfassung

In diesem Artikel stellen wir DiarizationLM vor, ein Framework, das große Sprachmodelle (LLM) nutzt, um die Ausgaben eines Sprecher-Diarisierungssystems nachzuverarbeiten. Mit dem vorgeschlagenen Framework können verschiedene Ziele erreicht werden, wie die Verbesserung der Lesbarkeit des diarisierten Transkripts oder die Reduzierung der Wort-Diarisierungsfehlerrate (WDER). In diesem Framework werden die Ausgaben der automatischen Spracherkennung (ASR) und des Sprecher-Diarisierungssystems in einem kompakten Textformat dargestellt, das in den Prompt für ein optional feinabgestimmtes LLM integriert wird. Die Ausgaben des LLM können als verfeinerte Diarisierungsergebnisse mit der gewünschten Verbesserung verwendet werden. Als Nachverarbeitungsschritt kann dieses Framework problemlos auf beliebige ASR- und Sprecher-Diarisierungssysteme angewendet werden, ohne bestehende Komponenten neu trainieren zu müssen. Unsere Experimente zeigen, dass ein feinabgestimmtes PaLM 2-S Modell die WDER auf dem Fisher-Telefongesprächsdatensatz um rel. 25,9 % und auf dem Callhome-Englisch-Datensatz um rel. 31 % reduzieren kann.

English

In this paper, we introduce DiarizationLM, a framework to leverage large language models (LLM) to post-process the outputs from a speaker diarization system. Various goals can be achieved with the proposed framework, such as improving the readability of the diarized transcript, or reducing the word diarization error rate (WDER). In this framework, the outputs of the automatic speech recognition (ASR) and speaker diarization systems are represented as a compact textual format, which is included in the prompt to an optionally finetuned LLM. The outputs of the LLM can be used as the refined diarization results with the desired enhancement. As a post-processing step, this framework can be easily applied to any off-the-shelf ASR and speaker diarization systems without retraining existing components. Our experiments show that a finetuned PaLM 2-S model can reduce the WDER by rel. 25.9% on the Fisher telephone conversation dataset, and rel. 31% on the Callhome English dataset.