SurveySum: 여러 과학 논문을 요약하여 조사 섹션으로 편입하는 데이터셋

SurveySum: A Dataset for Summarizing Multiple Scientific Articles into a Survey Section

August 29, 2024

저자: Leandro Carísio Fernandes, Gustavo Bartz Guedes, Thiago Soares Laitz, Thales Sales Almeida, Rodrigo Nogueira, Roberto Lotufo, Jayr Pereira

cs.AI

초록

문서 요약은 텍스트를 간결하고 정보를 풍부하게 요약하는 작업입니다. 본 논문은 여러 과학 논문을 설문 조사 부분으로 요약하는 새로운 데이터셋을 소개합니다. 우리의 기여는 다음과 같습니다: (1) 도메인 특화 요약 도구의 공백을 해결하는 새로운 데이터셋인 SurveySum; (2) 과학 논문을 설문 조사 부분으로 요약하는 두 가지 구체적인 파이프라인; 그리고 (3) 이러한 파이프라인을 평가하기 위해 여러 지표를 사용하여 성능을 비교합니다. 우리의 결과는 고품질 검색 단계의 중요성과 생성된 요약의 품질에 대한 다양한 구성의 영향을 강조합니다.

English

Document summarization is a task to shorten texts into concise and informative summaries. This paper introduces a novel dataset designed for summarizing multiple scientific articles into a section of a survey. Our contributions are: (1) SurveySum, a new dataset addressing the gap in domain-specific summarization tools; (2) two specific pipelines to summarize scientific articles into a section of a survey; and (3) the evaluation of these pipelines using multiple metrics to compare their performance. Our results highlight the importance of high-quality retrieval stages and the impact of different configurations on the quality of generated summaries.