Une étude systématique de la synthèse de texte : des méthodes statistiques aux grands modèles de langage

A Systematic Survey of Text Summarization: From Statistical Methods to Large Language Models

June 17, 2024

Auteurs: Haopeng Zhang, Philip S. Yu, Jiawei Zhang

cs.AI

Résumé

La recherche en résumé automatique de texte a connu plusieurs transformations majeures avec l'avènement des réseaux neuronaux profonds, des modèles de langage pré-entraînés (PLM) et des récents grands modèles de langage (LLM). Cette étude propose donc une revue complète des progrès et de l'évolution de la recherche en résumé de texte à travers le prisme de ces changements de paradigme. Elle est organisée en deux parties principales : (1) un aperçu détaillé des jeux de données, des métriques d'évaluation et des méthodes de résumé avant l'ère des LLM, englobant les méthodes statistiques traditionnelles, les approches d'apprentissage profond et les techniques de fine-tuning des PLM, et (2) la première analyse approfondie des avancées récentes en matière de benchmarking, de modélisation et d'évaluation du résumé dans l'ère des LLM. En synthétisant la littérature existante et en présentant une vue d'ensemble cohérente, cette étude aborde également les tendances de recherche, les défis ouverts et propose des directions de recherche prometteuses en résumé, visant à guider les chercheurs à travers le paysage en évolution de la recherche en résumé automatique.

English

Text summarization research has undergone several significant transformations with the advent of deep neural networks, pre-trained language models (PLMs), and recent large language models (LLMs). This survey thus provides a comprehensive review of the research progress and evolution in text summarization through the lens of these paradigm shifts. It is organized into two main parts: (1) a detailed overview of datasets, evaluation metrics, and summarization methods before the LLM era, encompassing traditional statistical methods, deep learning approaches, and PLM fine-tuning techniques, and (2) the first detailed examination of recent advancements in benchmarking, modeling, and evaluating summarization in the LLM era. By synthesizing existing literature and presenting a cohesive overview, this survey also discusses research trends, open challenges, and proposes promising research directions in summarization, aiming to guide researchers through the evolving landscape of summarization research.