SurveyX: Academische Enquêteautomatisering via Grote Taalmodellen

SurveyX: Academic Survey Automation via Large Language Models

February 20, 2025

Auteurs: Xun Liang, Jiawei Yang, Yezhaohui Wang, Chen Tang, Zifan Zheng, Simin Niu, Shichao Song, Hanyu Wang, Bo Tang, Feiyu Xiong, Keming Mao, Zhiyu li

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) hebben uitzonderlijke begripsvaardigheden en een uitgebreide kennisbasis getoond, wat suggereert dat LLMs efficiënte hulpmiddelen kunnen zijn voor het automatisch genereren van enquêtes. Recent onderzoek naar het automatisch genereren van enquêtes blijft echter beperkt door enkele kritieke beperkingen, zoals een beperkte contextvenster, gebrek aan diepgaande inhoudelijke discussie en de afwezigheid van systematische evaluatiekaders. Geïnspireerd door menselijke schrijfprocessen, stellen we SurveyX voor, een efficiënt en gestructureerd systeem voor het automatisch genereren van enquêtes dat het samenstellingsproces van enquêtes opsplitst in twee fasen: de Voorbereidingsfase en de Generatiefase. Door innovatief online referentie-ophaling, een voorbewerkingsmethode genaamd AttributeTree, en een herpolijstingsproces te introduceren, verbetert SurveyX de effectiviteit van het samenstellen van enquêtes aanzienlijk. Experimentele evaluatieresultaten tonen aan dat SurveyX bestaande systemen voor het automatisch genereren van enquêtes overtreft in inhoudskwaliteit (0,259 verbetering) en citatiekwaliteit (1,76 verbetering), en benadert de prestaties van menselijke experts op meerdere evaluatiedimensies. Voorbeelden van enquêtes gegenereerd door SurveyX zijn beschikbaar op www.surveyx.cn.

English

Large Language Models (LLMs) have demonstrated exceptional comprehension capabilities and a vast knowledge base, suggesting that LLMs can serve as efficient tools for automated survey generation. However, recent research related to automated survey generation remains constrained by some critical limitations like finite context window, lack of in-depth content discussion, and absence of systematic evaluation frameworks. Inspired by human writing processes, we propose SurveyX, an efficient and organized system for automated survey generation that decomposes the survey composing process into two phases: the Preparation and Generation phases. By innovatively introducing online reference retrieval, a pre-processing method called AttributeTree, and a re-polishing process, SurveyX significantly enhances the efficacy of survey composition. Experimental evaluation results show that SurveyX outperforms existing automated survey generation systems in content quality (0.259 improvement) and citation quality (1.76 enhancement), approaching human expert performance across multiple evaluation dimensions. Examples of surveys generated by SurveyX are available on www.surveyx.cn