SurveySum : un ensemble de données pour résumer plusieurs articles scientifiques en une section de synthèse

SurveySum: A Dataset for Summarizing Multiple Scientific Articles into a Survey Section

August 29, 2024

Auteurs: Leandro Carísio Fernandes, Gustavo Bartz Guedes, Thiago Soares Laitz, Thales Sales Almeida, Rodrigo Nogueira, Roberto Lotufo, Jayr Pereira

cs.AI

Résumé

La résumé automatique est une tâche visant à condenser des textes en résumés concis et informatifs. Cet article présente un nouvel ensemble de données conçu pour résumer plusieurs articles scientifiques en une section d'une enquête. Nos contributions sont les suivantes : (1) SurveySum, un nouvel ensemble de données comblant le fossé dans les outils de résumé spécifiques à un domaine ; (2) deux pipelines spécifiques pour résumer des articles scientifiques en une section d'une enquête ; et (3) l'évaluation de ces pipelines à l'aide de plusieurs métriques pour comparer leurs performances. Nos résultats mettent en évidence l'importance des étapes de récupération de haute qualité et l'impact des différentes configurations sur la qualité des résumés générés.

English

Document summarization is a task to shorten texts into concise and informative summaries. This paper introduces a novel dataset designed for summarizing multiple scientific articles into a section of a survey. Our contributions are: (1) SurveySum, a new dataset addressing the gap in domain-specific summarization tools; (2) two specific pipelines to summarize scientific articles into a section of a survey; and (3) the evaluation of these pipelines using multiple metrics to compare their performance. Our results highlight the importance of high-quality retrieval stages and the impact of different configurations on the quality of generated summaries.