SurveyX: Automazione di Sondaggi Accademici tramite Modelli Linguistici di Grande Dimensione

SurveyX: Academic Survey Automation via Large Language Models

February 20, 2025

Autori: Xun Liang, Jiawei Yang, Yezhaohui Wang, Chen Tang, Zifan Zheng, Simin Niu, Shichao Song, Hanyu Wang, Bo Tang, Feiyu Xiong, Keming Mao, Zhiyu li

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLMs) hanno dimostrato capacità di comprensione eccezionali e una vasta base di conoscenze, suggerendo che i LLMs possano servire come strumenti efficienti per la generazione automatizzata di sondaggi. Tuttavia, le ricerche recenti relative alla generazione automatizzata di sondaggi rimangono limitate da alcune criticità come la finestra contestuale finita, la mancanza di discussioni approfondite sui contenuti e l'assenza di framework di valutazione sistematici. Ispirati dai processi di scrittura umani, proponiamo SurveyX, un sistema efficiente e organizzato per la generazione automatizzata di sondaggi che scompone il processo di composizione del sondaggio in due fasi: la fase di Preparazione e la fase di Generazione. Introducendo in modo innovativo il recupero di riferimenti online, un metodo di pre-elaborazione chiamato AttributeTree e un processo di ripulitura, SurveyX migliora significativamente l'efficacia della composizione dei sondaggi. I risultati della valutazione sperimentale mostrano che SurveyX supera i sistemi esistenti di generazione automatizzata di sondaggi nella qualità dei contenuti (miglioramento di 0,259) e nella qualità delle citazioni (miglioramento di 1,76), avvicinandosi alle prestazioni degli esperti umani in molteplici dimensioni di valutazione. Esempi di sondaggi generati da SurveyX sono disponibili su www.surveyx.cn.

English

Large Language Models (LLMs) have demonstrated exceptional comprehension capabilities and a vast knowledge base, suggesting that LLMs can serve as efficient tools for automated survey generation. However, recent research related to automated survey generation remains constrained by some critical limitations like finite context window, lack of in-depth content discussion, and absence of systematic evaluation frameworks. Inspired by human writing processes, we propose SurveyX, an efficient and organized system for automated survey generation that decomposes the survey composing process into two phases: the Preparation and Generation phases. By innovatively introducing online reference retrieval, a pre-processing method called AttributeTree, and a re-polishing process, SurveyX significantly enhances the efficacy of survey composition. Experimental evaluation results show that SurveyX outperforms existing automated survey generation systems in content quality (0.259 improvement) and citation quality (1.76 enhancement), approaching human expert performance across multiple evaluation dimensions. Examples of surveys generated by SurveyX are available on www.surveyx.cn