Riassunto del discorso frase per frase: Task, dataset e modellazione end-to-end con distillazione della conoscenza da modelli linguistici

Sentence-wise Speech Summarization: Task, Datasets, and End-to-End Modeling with LM Knowledge Distillation

August 1, 2024

Autori: Kohei Matsuura, Takanori Ashihara, Takafumi Moriya, Masato Mimura, Takatomo Kano, Atsunori Ogawa, Marc Delcroix

cs.AI

Abstract

Questo articolo introduce un approccio innovativo chiamato riassunto del parlato frase per frase (Sen-SSum), che genera riassunti testuali da un documento parlato in modo frase per frase. Sen-SSum combina l'elaborazione in tempo reale del riconoscimento automatico del parlato (ASR) con la concisione del riassunto del parlato. Per esplorare questo approccio, presentiamo due dataset per Sen-SSum: Mega-SSum e CSJ-SSum. Utilizzando questi dataset, il nostro studio valuta due tipi di modelli basati su Transformer: 1) modelli a cascata che combinano ASR e modelli avanzati di riassunto testuale, e 2) modelli end-to-end (E2E) che convertono direttamente il parlato in un riassunto testuale. Sebbene i modelli E2E siano attraenti per sviluppare modelli efficienti dal punto di vista computazionale, essi performano peggio rispetto ai modelli a cascata. Pertanto, proponiamo la distillazione della conoscenza per i modelli E2E utilizzando pseudo-riassunti generati dai modelli a cascata. I nostri esperimenti dimostrano che questa distillazione della conoscenza proposta migliora efficacemente le prestazioni del modello E2E su entrambi i dataset.

English

This paper introduces a novel approach called sentence-wise speech summarization (Sen-SSum), which generates text summaries from a spoken document in a sentence-by-sentence manner. Sen-SSum combines the real-time processing of automatic speech recognition (ASR) with the conciseness of speech summarization. To explore this approach, we present two datasets for Sen-SSum: Mega-SSum and CSJ-SSum. Using these datasets, our study evaluates two types of Transformer-based models: 1) cascade models that combine ASR and strong text summarization models, and 2) end-to-end (E2E) models that directly convert speech into a text summary. While E2E models are appealing to develop compute-efficient models, they perform worse than cascade models. Therefore, we propose knowledge distillation for E2E models using pseudo-summaries generated by the cascade models. Our experiments show that this proposed knowledge distillation effectively improves the performance of the E2E model on both datasets.