문장 단위 음성 요약: 과제, 데이터셋 및 LM 지식 증류를 활용한 종단간 모델링

Sentence-wise Speech Summarization: Task, Datasets, and End-to-End Modeling with LM Knowledge Distillation

August 1, 2024

저자: Kohei Matsuura, Takanori Ashihara, Takafumi Moriya, Masato Mimura, Takatomo Kano, Atsunori Ogawa, Marc Delcroix

cs.AI

초록

본 논문은 음성 문서로부터 문장 단위로 텍스트 요약을 생성하는 새로운 접근 방식인 문장 단위 음성 요약(Sen-SSum)을 소개한다. Sen-SSum은 자동 음성 인식(ASR)의 실시간 처리 기능과 음성 요약의 간결성을 결합한다. 이 접근 방식을 탐구하기 위해, 우리는 Sen-SSum을 위한 두 가지 데이터셋인 Mega-SSum과 CSJ-SSum을 제시한다. 이러한 데이터셋을 사용하여, 우리의 연구는 두 가지 유형의 Transformer 기반 모델을 평가한다: 1) ASR과 강력한 텍스트 요약 모델을 결합한 캐스케이드 모델, 그리고 2) 음성을 직접 텍스트 요약으로 변환하는 종단 간(E2E) 모델. E2E 모델은 계산 효율적인 모델을 개발하는 데 매력적이지만, 캐스케이드 모델보다 성능이 떨어진다. 따라서, 우리는 캐스케이드 모델이 생성한 가짜 요약을 사용하여 E2E 모델에 대한 지식 증류를 제안한다. 우리의 실험은 제안된 지식 증류가 두 데이터셋에서 E2E 모델의 성능을 효과적으로 향상시킨다는 것을 보여준다.

English

This paper introduces a novel approach called sentence-wise speech summarization (Sen-SSum), which generates text summaries from a spoken document in a sentence-by-sentence manner. Sen-SSum combines the real-time processing of automatic speech recognition (ASR) with the conciseness of speech summarization. To explore this approach, we present two datasets for Sen-SSum: Mega-SSum and CSJ-SSum. Using these datasets, our study evaluates two types of Transformer-based models: 1) cascade models that combine ASR and strong text summarization models, and 2) end-to-end (E2E) models that directly convert speech into a text summary. While E2E models are appealing to develop compute-efficient models, they perform worse than cascade models. Therefore, we propose knowledge distillation for E2E models using pseudo-summaries generated by the cascade models. Our experiments show that this proposed knowledge distillation effectively improves the performance of the E2E model on both datasets.