Een Systematisch Overzicht van Tekstsamenvatting: Van Statistische Methoden tot Grote Taalmodellen

A Systematic Survey of Text Summarization: From Statistical Methods to Large Language Models

June 17, 2024

Auteurs: Haopeng Zhang, Philip S. Yu, Jiawei Zhang

cs.AI

Samenvatting

Onderzoek naar tekstsamenvatting heeft verschillende significante transformaties ondergaan met de opkomst van diepe neurale netwerken, vooraf getrainde taalmodelen (PLM's) en recente grote taalmodelen (LLM's). Dit overzicht biedt daarom een uitgebreide evaluatie van de onderzoeksvooruitgang en evolutie in tekstsamenvatting door de lens van deze paradigmaverschuivingen. Het is georganiseerd in twee hoofdonderdelen: (1) een gedetailleerd overzicht van datasets, evaluatiemetrics en samenvattingsmethoden vóór het LLM-tijdperk, inclusief traditionele statistische methoden, deep learning-benaderingen en PLM-finetuningtechnieken, en (2) het eerste gedetailleerde onderzoek naar recente vooruitgang in benchmarking, modellering en evaluatie van samenvatting in het LLM-tijdperk. Door bestaande literatuur samen te vatten en een samenhangend overzicht te presenteren, bespreekt dit overzicht ook onderzoektendensen, openstaande uitdagingen en stelt het veelbelovende onderzoeksrichtingen voor in samenvatting, met als doel onderzoekers te begeleiden door het evoluerende landschap van samenvattingsonderzoek.

English

Text summarization research has undergone several significant transformations with the advent of deep neural networks, pre-trained language models (PLMs), and recent large language models (LLMs). This survey thus provides a comprehensive review of the research progress and evolution in text summarization through the lens of these paradigm shifts. It is organized into two main parts: (1) a detailed overview of datasets, evaluation metrics, and summarization methods before the LLM era, encompassing traditional statistical methods, deep learning approaches, and PLM fine-tuning techniques, and (2) the first detailed examination of recent advancements in benchmarking, modeling, and evaluating summarization in the LLM era. By synthesizing existing literature and presenting a cohesive overview, this survey also discusses research trends, open challenges, and proposes promising research directions in summarization, aiming to guide researchers through the evolving landscape of summarization research.