Satzweise Sprachzusammenfassung: Aufgabe, Datensätze und End-to-End-Modellierung mit LM-Wissensverdichtung.

Sentence-wise Speech Summarization: Task, Datasets, and End-to-End Modeling with LM Knowledge Distillation

August 1, 2024

Autoren: Kohei Matsuura, Takanori Ashihara, Takafumi Moriya, Masato Mimura, Takatomo Kano, Atsunori Ogawa, Marc Delcroix

cs.AI

Zusammenfassung

Dieses Paper stellt einen neuartigen Ansatz namens satzweise Sprachzusammenfassung (Sen-SSum) vor, der Textzusammenfassungen aus einem gesprochenen Dokument auf satzweiser Basis generiert. Sen-SSum kombiniert die Echtzeitverarbeitung der automatischen Spracherkennung (ASR) mit der Prägnanz der Sprachzusammenfassung. Um diesen Ansatz zu erforschen, präsentieren wir zwei Datensätze für Sen-SSum: Mega-SSum und CSJ-SSum. Unter Verwendung dieser Datensätze bewertet unsere Studie zwei Arten von Transformer-basierten Modellen: 1) Kaskadenmodelle, die ASR und starke Textzusammenfassungsmodelle kombinieren, und 2) End-to-End (E2E) Modelle, die Sprache direkt in eine Textzusammenfassung umwandeln. Obwohl E2E-Modelle attraktiv sind, um recheneffiziente Modelle zu entwickeln, schneiden sie schlechter ab als Kaskadenmodelle. Daher schlagen wir das Wissensdistillation für E2E-Modelle unter Verwendung von Pseudo-Zusammenfassungen vor, die von den Kaskadenmodellen generiert wurden. Unsere Experimente zeigen, dass diese vorgeschlagene Wissensdistillation die Leistung des E2E-Modells auf beiden Datensätzen effektiv verbessert.

English

This paper introduces a novel approach called sentence-wise speech summarization (Sen-SSum), which generates text summaries from a spoken document in a sentence-by-sentence manner. Sen-SSum combines the real-time processing of automatic speech recognition (ASR) with the conciseness of speech summarization. To explore this approach, we present two datasets for Sen-SSum: Mega-SSum and CSJ-SSum. Using these datasets, our study evaluates two types of Transformer-based models: 1) cascade models that combine ASR and strong text summarization models, and 2) end-to-end (E2E) models that directly convert speech into a text summary. While E2E models are appealing to develop compute-efficient models, they perform worse than cascade models. Therefore, we propose knowledge distillation for E2E models using pseudo-summaries generated by the cascade models. Our experiments show that this proposed knowledge distillation effectively improves the performance of the E2E model on both datasets.