텍스트 요약에 대한 체계적 조사: 통계적 방법부터 대규모 언어 모델까지

A Systematic Survey of Text Summarization: From Statistical Methods to Large Language Models

June 17, 2024

저자: Haopeng Zhang, Philip S. Yu, Jiawei Zhang

cs.AI

초록

텍스트 요약 연구는 딥 뉴럴 네트워크, 사전 학습된 언어 모델(PLM), 그리고 최근의 대규모 언어 모델(LLM)의 등장과 함께 여러 차례의 중요한 변혁을 겪어왔습니다. 이에 본 조사 논문은 이러한 패러다임 전환의 관점에서 텍스트 요약 연구의 진보와 진화를 포괄적으로 검토합니다. 이 논문은 크게 두 부분으로 구성됩니다: (1) LLM 시대 이전의 데이터셋, 평가 지표, 그리고 요약 방법에 대한 상세한 개요로서, 전통적인 통계적 방법, 딥러닝 접근법, 그리고 PLM 미세 조정 기법을 포함하며, (2) LLM 시대의 벤치마킹, 모델링, 그리고 요약 평가에 관한 최근의 발전을 처음으로 상세히 조명합니다. 기존 문헌을 종합하고 일관된 개요를 제시함으로써, 이 조사 논문은 또한 연구 동향, 해결되지 않은 과제들을 논의하고, 요약 연구의 진화하는 풍경을 안내하기 위해 유망한 연구 방향을 제안합니다.

English

Text summarization research has undergone several significant transformations with the advent of deep neural networks, pre-trained language models (PLMs), and recent large language models (LLMs). This survey thus provides a comprehensive review of the research progress and evolution in text summarization through the lens of these paradigm shifts. It is organized into two main parts: (1) a detailed overview of datasets, evaluation metrics, and summarization methods before the LLM era, encompassing traditional statistical methods, deep learning approaches, and PLM fine-tuning techniques, and (2) the first detailed examination of recent advancements in benchmarking, modeling, and evaluating summarization in the LLM era. By synthesizing existing literature and presenting a cohesive overview, this survey also discusses research trends, open challenges, and proposes promising research directions in summarization, aiming to guide researchers through the evolving landscape of summarization research.