SurveySum: Um Conjunto de Dados para Resumir Múltiplos Artigos Científicos em uma Seção de Pesquisa

SurveySum: A Dataset for Summarizing Multiple Scientific Articles into a Survey Section

August 29, 2024

Autores: Leandro Carísio Fernandes, Gustavo Bartz Guedes, Thiago Soares Laitz, Thales Sales Almeida, Rodrigo Nogueira, Roberto Lotufo, Jayr Pereira

cs.AI

Resumo

A sumarização de documentos é uma tarefa para encurtar textos em resumos concisos e informativos. Este artigo apresenta um novo conjunto de dados projetado para resumir vários artigos científicos em uma seção de uma pesquisa. Nossas contribuições são: (1) SurveySum, um novo conjunto de dados que aborda a lacuna em ferramentas de sumarização específicas do domínio; (2) duas pipelines específicas para resumir artigos científicos em uma seção de uma pesquisa; e (3) a avaliação dessas pipelines usando múltiplas métricas para comparar seu desempenho. Nossos resultados destacam a importância de estágios de recuperação de alta qualidade e o impacto de diferentes configurações na qualidade dos resumos gerados.

English

Document summarization is a task to shorten texts into concise and informative summaries. This paper introduces a novel dataset designed for summarizing multiple scientific articles into a section of a survey. Our contributions are: (1) SurveySum, a new dataset addressing the gap in domain-specific summarization tools; (2) two specific pipelines to summarize scientific articles into a section of a survey; and (3) the evaluation of these pipelines using multiple metrics to compare their performance. Our results highlight the importance of high-quality retrieval stages and the impact of different configurations on the quality of generated summaries.