DiarizationLM: 大規模言語モデルを用いた話者分離の後処理

要旨

本論文では、大規模言語モデル（LLM）を活用して話者分離システムの出力を後処理するフレームワーク「DiarizationLM」を紹介します。提案するフレームワークを用いることで、話者分離された文字起こし結果の可読性向上や、単語レベルの話者分離誤り率（WDER）の低減など、様々な目標を達成することが可能です。このフレームワークでは、自動音声認識（ASR）システムと話者分離システムの出力をコンパクトなテキスト形式で表現し、それをプロンプトとしてオプションでファインチューンされたLLMに入力します。LLMの出力は、所望の改善を施した精緻化された話者分離結果として利用できます。後処理ステップとして、このフレームワークは既存のASRおよび話者分離システムに再学習を必要とせず、容易に適用することが可能です。実験結果では、ファインチューンされたPaLM 2-Sモデルが、Fisher電話会話データセットでWDERを相対25.9%、Callhome英語データセットで相対31%削減できることを示しています。

English

In this paper, we introduce DiarizationLM, a framework to leverage large language models (LLM) to post-process the outputs from a speaker diarization system. Various goals can be achieved with the proposed framework, such as improving the readability of the diarized transcript, or reducing the word diarization error rate (WDER). In this framework, the outputs of the automatic speech recognition (ASR) and speaker diarization systems are represented as a compact textual format, which is included in the prompt to an optionally finetuned LLM. The outputs of the LLM can be used as the refined diarization results with the desired enhancement. As a post-processing step, this framework can be easily applied to any off-the-shelf ASR and speaker diarization systems without retraining existing components. Our experiments show that a finetuned PaLM 2-S model can reduce the WDER by rel. 25.9% on the Fisher telephone conversation dataset, and rel. 31% on the Callhome English dataset.

DiarizationLM: 大規模言語モデルを用いた話者分離の後処理

DiarizationLM: Speaker Diarization Post-Processing with Large Language Models

要旨

Support