SurveySum: Набор данных для создания сводных обзоров нескольких научных статей в разделе обзора.

SurveySum: A Dataset for Summarizing Multiple Scientific Articles into a Survey Section

August 29, 2024

Авторы: Leandro Carísio Fernandes, Gustavo Bartz Guedes, Thiago Soares Laitz, Thales Sales Almeida, Rodrigo Nogueira, Roberto Lotufo, Jayr Pereira

cs.AI

Аннотация

Суммирование документов - это задача сокращения текстов до кратких и информативных резюме. В данной статье представлен новый набор данных, разработанный для суммирования нескольких научных статей в раздел обзора. Наши вклады: (1) SurveySum, новый набор данных, решающий проблему инструментов доменно-специфического суммирования; (2) два конкретных конвейера для суммирования научных статей в раздел обзора; и (3) оценка этих конвейеров с использованием нескольких метрик для сравнения их производительности. Наши результаты подчеркивают важность этапов высококачественного поиска и влияние различных конфигураций на качество созданных резюме.

English

Document summarization is a task to shorten texts into concise and informative summaries. This paper introduces a novel dataset designed for summarizing multiple scientific articles into a section of a survey. Our contributions are: (1) SurveySum, a new dataset addressing the gap in domain-specific summarization tools; (2) two specific pipelines to summarize scientific articles into a section of a survey; and (3) the evaluation of these pipelines using multiple metrics to compare their performance. Our results highlight the importance of high-quality retrieval stages and the impact of different configurations on the quality of generated summaries.