SurveyX: 대규모 언어 모델을 통한 학술 설문 자동화

SurveyX: Academic Survey Automation via Large Language Models

February 20, 2025

저자: Xun Liang, Jiawei Yang, Yezhaohui Wang, Chen Tang, Zifan Zheng, Simin Niu, Shichao Song, Hanyu Wang, Bo Tang, Feiyu Xiong, Keming Mao, Zhiyu li

cs.AI

초록

대형 언어 모델(LLMs)은 탁월한 이해 능력과 방대한 지식 기반을 보여주며, 이를 통해 자동화된 설문 조사 생성에 효율적인 도구로 활용될 수 있음을 시사합니다. 그러나 최근의 자동화된 설문 조사 생성 관련 연구는 여전히 제한된 컨텍스트 윈도우, 심층적인 내용 논의의 부족, 체계적인 평가 프레임워크의 결여와 같은 중요한 한계에 직면해 있습니다. 인간의 글쓰기 과정에서 영감을 받아, 우리는 설문 조사 작성 과정을 준비 단계와 생성 단계로 분해하는 효율적이고 체계적인 자동화 설문 조사 생성 시스템인 SurveyX를 제안합니다. 온라인 참조 검색, AttributeTree라는 전처리 방법, 그리고 재다듬기 과정을 혁신적으로 도입함으로써, SurveyX는 설문 조사 작성의 효율성을 크게 향상시킵니다. 실험적 평가 결과는 SurveyX가 기존의 자동화 설문 조사 생성 시스템을 내용 품질(0.259 향상)과 인용 품질(1.76 향상)에서 능가하며, 여러 평가 차원에서 인간 전문가의 성능에 근접함을 보여줍니다. SurveyX로 생성된 설문 조사 예시는 www.surveyx.cn에서 확인할 수 있습니다.

English

Large Language Models (LLMs) have demonstrated exceptional comprehension capabilities and a vast knowledge base, suggesting that LLMs can serve as efficient tools for automated survey generation. However, recent research related to automated survey generation remains constrained by some critical limitations like finite context window, lack of in-depth content discussion, and absence of systematic evaluation frameworks. Inspired by human writing processes, we propose SurveyX, an efficient and organized system for automated survey generation that decomposes the survey composing process into two phases: the Preparation and Generation phases. By innovatively introducing online reference retrieval, a pre-processing method called AttributeTree, and a re-polishing process, SurveyX significantly enhances the efficacy of survey composition. Experimental evaluation results show that SurveyX outperforms existing automated survey generation systems in content quality (0.259 improvement) and citation quality (1.76 enhancement), approaching human expert performance across multiple evaluation dimensions. Examples of surveys generated by SurveyX are available on www.surveyx.cn