SurveySum: Een Dataset voor het Samenvatten van Meerdere Wetenschappelijke Artikelen tot een Overzichtsgedeelte

SurveySum: A Dataset for Summarizing Multiple Scientific Articles into a Survey Section

August 29, 2024

Auteurs: Leandro Carísio Fernandes, Gustavo Bartz Guedes, Thiago Soares Laitz, Thales Sales Almeida, Rodrigo Nogueira, Roberto Lotufo, Jayr Pereira

cs.AI

Samenvatting

Documentensamenvatting is een taak waarbij teksten worden ingekort tot beknopte en informatieve samenvattingen. Dit artikel introduceert een nieuwe dataset die is ontworpen voor het samenvatten van meerdere wetenschappelijke artikelen in een sectie van een overzichtsartikel. Onze bijdragen zijn: (1) SurveySum, een nieuwe dataset die de leemte opvult in domeinspecifieke samenvattingshulpmiddelen; (2) twee specifieke pijplijnen om wetenschappelijke artikelen samen te vatten in een sectie van een overzichtsartikel; en (3) de evaluatie van deze pijplijnen met behulp van meerdere metrieken om hun prestaties te vergelijken. Onze resultaten benadrukken het belang van hoogwaardige retrievalsfasen en de impact van verschillende configuraties op de kwaliteit van gegenereerde samenvattingen.

English

Document summarization is a task to shorten texts into concise and informative summaries. This paper introduces a novel dataset designed for summarizing multiple scientific articles into a section of a survey. Our contributions are: (1) SurveySum, a new dataset addressing the gap in domain-specific summarization tools; (2) two specific pipelines to summarize scientific articles into a section of a survey; and (3) the evaluation of these pipelines using multiple metrics to compare their performance. Our results highlight the importance of high-quality retrieval stages and the impact of different configurations on the quality of generated summaries.