DiarizationLM: 대형 언어 모델을 활용한 화자 분할 후처리

초록

본 논문에서는 대규모 언어 모델(LLM)을 활용하여 화자 분할 시스템의 출력을 후처리하는 DiarizationLM 프레임워크를 소개한다. 제안된 프레임워크를 통해 화자 분할된 텍스트의 가독성을 향상시키거나 단어 화자 분할 오류율(WDER)을 감소시키는 등 다양한 목표를 달성할 수 있다. 이 프레임워크에서는 자동 음성 인식(ASR) 시스템과 화자 분할 시스템의 출력을 간결한 텍스트 형식으로 표현하여, 선택적으로 미세 조정된 LLM의 프롬프트에 포함시킨다. LLM의 출력은 원하는 개선 사항이 반영된 정제된 화자 분할 결과로 사용될 수 있다. 후처리 단계로서, 이 프레임워크는 기존 구성 요소를 재학습할 필요 없이 모든 상용 ASR 및 화자 분할 시스템에 쉽게 적용할 수 있다. 실험 결과, 미세 조정된 PaLM 2-S 모델은 Fisher 전화 대화 데이터셋에서 WDER을 상대적으로 25.9% 감소시켰으며, Callhome 영어 데이터셋에서는 상대적으로 31% 감소시켰다.

English

In this paper, we introduce DiarizationLM, a framework to leverage large language models (LLM) to post-process the outputs from a speaker diarization system. Various goals can be achieved with the proposed framework, such as improving the readability of the diarized transcript, or reducing the word diarization error rate (WDER). In this framework, the outputs of the automatic speech recognition (ASR) and speaker diarization systems are represented as a compact textual format, which is included in the prompt to an optionally finetuned LLM. The outputs of the LLM can be used as the refined diarization results with the desired enhancement. As a post-processing step, this framework can be easily applied to any off-the-shelf ASR and speaker diarization systems without retraining existing components. Our experiments show that a finetuned PaLM 2-S model can reduce the WDER by rel. 25.9% on the Fisher telephone conversation dataset, and rel. 31% on the Callhome English dataset.

DiarizationLM: 대형 언어 모델을 활용한 화자 분할 후처리

DiarizationLM: Speaker Diarization Post-Processing with Large Language Models

초록

Support