Una Revisión Sistemática de la Resumen Automático de Textos: Desde Métodos Estadísticos Hasta Modelos de Lenguaje a Gran Escala

A Systematic Survey of Text Summarization: From Statistical Methods to Large Language Models

June 17, 2024

Autores: Haopeng Zhang, Philip S. Yu, Jiawei Zhang

cs.AI

Resumen

La investigación en resumen de textos ha experimentado varias transformaciones significativas con el surgimiento de las redes neuronales profundas, los modelos de lenguaje preentrenados (PLMs, por sus siglas en inglés) y los recientes modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés). Esta revisión ofrece, por lo tanto, un análisis exhaustivo del progreso y la evolución de la investigación en resumen de textos a través del prisma de estos cambios de paradigma. Está organizada en dos partes principales: (1) una descripción detallada de conjuntos de datos, métricas de evaluación y métodos de resumen antes de la era de los LLMs, que abarca métodos estadísticos tradicionales, enfoques de aprendizaje profundo y técnicas de ajuste fino de PLMs, y (2) el primer examen detallado de los avances recientes en la creación de puntos de referencia, modelado y evaluación del resumen en la era de los LLMs. Al sintetizar la literatura existente y presentar una visión cohesiva, esta revisión también discute tendencias de investigación, desafíos abiertos y propone direcciones de investigación prometedoras en el campo del resumen, con el objetivo de guiar a los investigadores a través del panorama en constante evolución de la investigación en resumen de textos.

English

Text summarization research has undergone several significant transformations with the advent of deep neural networks, pre-trained language models (PLMs), and recent large language models (LLMs). This survey thus provides a comprehensive review of the research progress and evolution in text summarization through the lens of these paradigm shifts. It is organized into two main parts: (1) a detailed overview of datasets, evaluation metrics, and summarization methods before the LLM era, encompassing traditional statistical methods, deep learning approaches, and PLM fine-tuning techniques, and (2) the first detailed examination of recent advancements in benchmarking, modeling, and evaluating summarization in the LLM era. By synthesizing existing literature and presenting a cohesive overview, this survey also discusses research trends, open challenges, and proposes promising research directions in summarization, aiming to guide researchers through the evolving landscape of summarization research.