Сжатие высказывания по предложениям: задача, наборы данных и моделирование end-to-end с дистилляцией знаний языковой модели

Sentence-wise Speech Summarization: Task, Datasets, and End-to-End Modeling with LM Knowledge Distillation

August 1, 2024

Авторы: Kohei Matsuura, Takanori Ashihara, Takafumi Moriya, Masato Mimura, Takatomo Kano, Atsunori Ogawa, Marc Delcroix

cs.AI

Аннотация

Эта статья представляет новый подход, называемый суммированием речи по предложениям (Sen-SSum), который генерирует текстовые резюме из устного документа по предложениям. Sen-SSum объединяет обработку реального времени автоматического распознавания речи (ASR) с краткостью суммирования речи. Для изучения этого подхода мы представляем два набора данных для Sen-SSum: Mega-SSum и CSJ-SSum. Используя эти наборы данных, наше исследование оценивает два типа моделей на основе Transformer: 1) каскадные модели, которые объединяют ASR и сильные модели текстового суммирования, и 2) модели конечного к конечному (E2E), которые непосредственно преобразуют речь в текстовое резюме. Хотя модели E2E привлекательны для разработки вычислительно эффективных моделей, они показывают худшие результаты, чем каскадные модели. Поэтому мы предлагаем дистилляцию знаний для моделей E2E с использованием псевдо-резюме, сгенерированных каскадными моделями. Наши эксперименты показывают, что предложенная дистилляция знаний эффективно улучшает производительность модели E2E на обоих наборах данных.

English

This paper introduces a novel approach called sentence-wise speech summarization (Sen-SSum), which generates text summaries from a spoken document in a sentence-by-sentence manner. Sen-SSum combines the real-time processing of automatic speech recognition (ASR) with the conciseness of speech summarization. To explore this approach, we present two datasets for Sen-SSum: Mega-SSum and CSJ-SSum. Using these datasets, our study evaluates two types of Transformer-based models: 1) cascade models that combine ASR and strong text summarization models, and 2) end-to-end (E2E) models that directly convert speech into a text summary. While E2E models are appealing to develop compute-efficient models, they perform worse than cascade models. Therefore, we propose knowledge distillation for E2E models using pseudo-summaries generated by the cascade models. Our experiments show that this proposed knowledge distillation effectively improves the performance of the E2E model on both datasets.