SurveySum: Un conjunto de datos para resumir múltiples artículos científicos en una sección de encuesta.

SurveySum: A Dataset for Summarizing Multiple Scientific Articles into a Survey Section

August 29, 2024

Autores: Leandro Carísio Fernandes, Gustavo Bartz Guedes, Thiago Soares Laitz, Thales Sales Almeida, Rodrigo Nogueira, Roberto Lotufo, Jayr Pereira

cs.AI

Resumen

La sumarización de documentos es una tarea para acortar textos en resúmenes concisos e informativos. Este documento presenta un conjunto de datos novedoso diseñado para resumir múltiples artículos científicos en una sección de una encuesta. Nuestras contribuciones son: (1) SurveySum, un nuevo conjunto de datos que aborda la brecha en herramientas de sumarización específicas del dominio; (2) dos pipelines específicos para resumir artículos científicos en una sección de una encuesta; y (3) la evaluación de estos pipelines utilizando múltiples métricas para comparar su rendimiento. Nuestros resultados resaltan la importancia de etapas de recuperación de alta calidad y el impacto de diferentes configuraciones en la calidad de los resúmenes generados.

English

Document summarization is a task to shorten texts into concise and informative summaries. This paper introduces a novel dataset designed for summarizing multiple scientific articles into a section of a survey. Our contributions are: (1) SurveySum, a new dataset addressing the gap in domain-specific summarization tools; (2) two specific pipelines to summarize scientific articles into a section of a survey; and (3) the evaluation of these pipelines using multiple metrics to compare their performance. Our results highlight the importance of high-quality retrieval stages and the impact of different configurations on the quality of generated summaries.