SurveyForge: 자동화된 설문 작성을 위한 개요 휴리스틱, 메모리 기반 생성 및 다차원 평가에 관하여

SurveyForge: On the Outline Heuristics, Memory-Driven Generation, and Multi-dimensional Evaluation for Automated Survey Writing

March 6, 2025

저자: Xiangchao Yan, Shiyang Feng, Jiakang Yuan, Renqiu Xia, Bin Wang, Bo Zhang, Lei Bai

cs.AI

초록

조사 논문(survey paper)은 특히 연구 출판물의 급속한 성장을 고려할 때 과학 연구에서 중요한 역할을 합니다. 최근 연구자들은 효율성을 높이기 위해 LLM(대형 언어 모델)을 사용하여 조사 논문 생성을 자동화하기 시작했습니다. 그러나 LLM이 생성한 조사 논문과 인간이 작성한 조사 논문 사이의 품격 차이는 여전히 크며, 특히 개요 품질과 인용 정확성 측면에서 두드러집니다. 이러한 격차를 해소하기 위해 우리는 SurveyForge를 소개합니다. SurveyForge는 먼저 인간이 작성한 개요의 논리적 구조를 분석하고 검색된 도메인 관련 논문을 참조하여 개요를 생성합니다. 이후, 우리의 학술 탐색 에이전트가 메모리에서 검색한 고품질 논문을 활용하여 SurveyForge는 생성된 논문의 내용을 자동으로 생성하고 개선할 수 있습니다. 또한, 포괄적인 평가를 위해 우리는 SurveyBench를 구축했습니다. SurveyBench는 승률 비교를 위해 100개의 인간이 작성한 조사 논문을 포함하며, AI가 생성한 조사 논문을 참고문헌, 개요, 내용 품질이라는 세 가지 차원에서 평가합니다. 실험 결과, SurveyForge는 AutoSurvey와 같은 이전 작업들을 능가할 수 있음을 보여줍니다.

English

Survey paper plays a crucial role in scientific research, especially given the rapid growth of research publications. Recently, researchers have begun using LLMs to automate survey generation for better efficiency. However, the quality gap between LLM-generated surveys and those written by human remains significant, particularly in terms of outline quality and citation accuracy. To close these gaps, we introduce SurveyForge, which first generates the outline by analyzing the logical structure of human-written outlines and referring to the retrieved domain-related articles. Subsequently, leveraging high-quality papers retrieved from memory by our scholar navigation agent, SurveyForge can automatically generate and refine the content of the generated article. Moreover, to achieve a comprehensive evaluation, we construct SurveyBench, which includes 100 human-written survey papers for win-rate comparison and assesses AI-generated survey papers across three dimensions: reference, outline, and content quality. Experiments demonstrate that SurveyForge can outperform previous works such as AutoSurvey.