Zinsgewijze Spraaksamenvatting: Taak, Datasets en End-to-End Modellering met LM Kennisdistillatie

Sentence-wise Speech Summarization: Task, Datasets, and End-to-End Modeling with LM Knowledge Distillation

August 1, 2024

Auteurs: Kohei Matsuura, Takanori Ashihara, Takafumi Moriya, Masato Mimura, Takatomo Kano, Atsunori Ogawa, Marc Delcroix

cs.AI

Samenvatting

Dit artikel introduceert een nieuwe aanpak genaamd zin-voor-zin spraaksamenvatting (Sen-SSum), die tekstsamenvattingen genereert uit een gesproken document op een zin-voor-zin manier. Sen-SSum combineert de real-time verwerking van automatische spraakherkenning (ASR) met de beknoptheid van spraaksamenvatting. Om deze aanpak te verkennen, presenteren we twee datasets voor Sen-SSum: Mega-SSum en CSJ-SSum. Met behulp van deze datasets evalueert onze studie twee soorten Transformer-gebaseerde modellen: 1) cascade-modellen die ASR combineren met sterke tekstsamenvattingsmodellen, en 2) end-to-end (E2E) modellen die spraak direct omzetten in een tekstsamenvatting. Hoewel E2E-modellen aantrekkelijk zijn voor het ontwikkelen van reken-efficiënte modellen, presteren ze slechter dan cascade-modellen. Daarom stellen we kennisdistillatie voor E2E-modellen voor met behulp van pseudo-samenvattingen gegenereerd door de cascade-modellen. Onze experimenten tonen aan dat deze voorgestelde kennisdistillatie de prestaties van het E2E-model effectief verbetert op beide datasets.

English

This paper introduces a novel approach called sentence-wise speech summarization (Sen-SSum), which generates text summaries from a spoken document in a sentence-by-sentence manner. Sen-SSum combines the real-time processing of automatic speech recognition (ASR) with the conciseness of speech summarization. To explore this approach, we present two datasets for Sen-SSum: Mega-SSum and CSJ-SSum. Using these datasets, our study evaluates two types of Transformer-based models: 1) cascade models that combine ASR and strong text summarization models, and 2) end-to-end (E2E) models that directly convert speech into a text summary. While E2E models are appealing to develop compute-efficient models, they perform worse than cascade models. Therefore, we propose knowledge distillation for E2E models using pseudo-summaries generated by the cascade models. Our experiments show that this proposed knowledge distillation effectively improves the performance of the E2E model on both datasets.