Eine systematische Umfrage zur Textzusammenfassung: Von statistischen Methoden zu großen Sprachmodellen.

A Systematic Survey of Text Summarization: From Statistical Methods to Large Language Models

June 17, 2024

Autoren: Haopeng Zhang, Philip S. Yu, Jiawei Zhang

cs.AI

Zusammenfassung

Die Forschung zur Textzusammenfassung hat durch den Aufstieg von tiefen neuronalen Netzwerken, vortrainierten Sprachmodellen (PLMs) und aktuellen großen Sprachmodellen (LLMs) mehrere signifikante Transformationen durchlaufen. Diese Übersicht bietet daher eine umfassende Bewertung des Forschungsfortschritts und der Entwicklung in der Textzusammenfassung durch die Brille dieser Paradigmenwechsel. Sie ist in zwei Hauptteile unterteilt: (1) eine detaillierte Übersicht über Datensätze, Evaluierungsmetriken und Zusammenfassungsmethoden vor der Ära der LLMs, die traditionelle statistische Methoden, Deep-Learning-Ansätze und PLM-Feinabstimmungstechniken umfasst, und (2) die erste detaillierte Untersuchung der jüngsten Fortschritte bei der Benchmarking, Modellierung und Evaluierung von Zusammenfassungen in der Ära der LLMs. Durch die Synthese bestehender Literatur und die Präsentation eines kohärenten Überblicks diskutiert diese Übersicht auch Forschungstrends, offene Herausforderungen und schlägt vielversprechende Forschungsrichtungen in der Zusammenfassung vor, mit dem Ziel, Forscher durch die sich entwickelnde Landschaft der Zusammenfassungsforschung zu führen.

English

Text summarization research has undergone several significant transformations with the advent of deep neural networks, pre-trained language models (PLMs), and recent large language models (LLMs). This survey thus provides a comprehensive review of the research progress and evolution in text summarization through the lens of these paradigm shifts. It is organized into two main parts: (1) a detailed overview of datasets, evaluation metrics, and summarization methods before the LLM era, encompassing traditional statistical methods, deep learning approaches, and PLM fine-tuning techniques, and (2) the first detailed examination of recent advancements in benchmarking, modeling, and evaluating summarization in the LLM era. By synthesizing existing literature and presenting a cohesive overview, this survey also discusses research trends, open challenges, and proposes promising research directions in summarization, aiming to guide researchers through the evolving landscape of summarization research.