SurveySum: 複数の科学論文を調査セクションに要約するためのデータセット

SurveySum: A Dataset for Summarizing Multiple Scientific Articles into a Survey Section

August 29, 2024

著者: Leandro Carísio Fernandes, Gustavo Bartz Guedes, Thiago Soares Laitz, Thales Sales Almeida, Rodrigo Nogueira, Roberto Lotufo, Jayr Pereira

cs.AI

要旨

文書要約は、テキストを簡潔で情報量豊かな要約に短縮するタスクです。本論文では、複数の科学論文を調査のセクションに要約するために設計された新しいデータセットを紹介します。当社の貢献は以下の通りです：(1) ドメイン固有の要約ツールにおけるギャップに対処する新しいデータセットであるSurveySum；(2) 科学論文を調査のセクションに要約するための2つの具体的なパイプライン；および(3) これらのパイプラインを評価するために複数のメトリクスを使用して、そのパフォーマンスを比較します。我々の結果は、高品質な検索段階の重要性と、生成された要約の品質に対する異なる構成の影響を強調しています。

English

Document summarization is a task to shorten texts into concise and informative summaries. This paper introduces a novel dataset designed for summarizing multiple scientific articles into a section of a survey. Our contributions are: (1) SurveySum, a new dataset addressing the gap in domain-specific summarization tools; (2) two specific pipelines to summarize scientific articles into a section of a survey; and (3) the evaluation of these pipelines using multiple metrics to compare their performance. Our results highlight the importance of high-quality retrieval stages and the impact of different configurations on the quality of generated summaries.