Una Revisione Sistematica della Sintesi Testuale: Dai Metodi Statistici ai Modelli Linguistici su Larga Scala

A Systematic Survey of Text Summarization: From Statistical Methods to Large Language Models

June 17, 2024

Autori: Haopeng Zhang, Philip S. Yu, Jiawei Zhang

cs.AI

Abstract

La ricerca sulla sintesi testuale ha subito diverse trasformazioni significative con l'avvento delle reti neurali profonde, dei modelli linguistici pre-addestrati (PLM) e dei recenti modelli linguistici di grandi dimensioni (LLM). Questa rassegna fornisce quindi una revisione completa dei progressi e dell'evoluzione della ricerca nella sintesi testuale attraverso la lente di questi cambiamenti di paradigma. È organizzata in due parti principali: (1) una panoramica dettagliata di dataset, metriche di valutazione e metodi di sintesi prima dell'era degli LLM, comprendendo metodi statistici tradizionali, approcci di deep learning e tecniche di fine-tuning dei PLM, e (2) la prima analisi dettagliata dei recenti progressi nel benchmarking, nella modellazione e nella valutazione della sintesi nell'era degli LLM. Sintetizzando la letteratura esistente e presentando una visione coerente, questa rassegna discute anche le tendenze della ricerca, le sfide aperte e propone promettenti direzioni di ricerca nella sintesi, con l'obiettivo di guidare i ricercatori attraverso il panorama in evoluzione della ricerca sulla sintesi testuale.

English

Text summarization research has undergone several significant transformations with the advent of deep neural networks, pre-trained language models (PLMs), and recent large language models (LLMs). This survey thus provides a comprehensive review of the research progress and evolution in text summarization through the lens of these paradigm shifts. It is organized into two main parts: (1) a detailed overview of datasets, evaluation metrics, and summarization methods before the LLM era, encompassing traditional statistical methods, deep learning approaches, and PLM fine-tuning techniques, and (2) the first detailed examination of recent advancements in benchmarking, modeling, and evaluating summarization in the LLM era. By synthesizing existing literature and presenting a cohesive overview, this survey also discusses research trends, open challenges, and proposes promising research directions in summarization, aiming to guide researchers through the evolving landscape of summarization research.