SurveyX : Automatisation des enquêtes académiques via les grands modèles de langage

SurveyX: Academic Survey Automation via Large Language Models

February 20, 2025

Auteurs: Xun Liang, Jiawei Yang, Yezhaohui Wang, Chen Tang, Zifan Zheng, Simin Niu, Shichao Song, Hanyu Wang, Bo Tang, Feiyu Xiong, Keming Mao, Zhiyu li

cs.AI

Résumé

Les modèles de langage de grande taille (LLMs) ont démontré des capacités de compréhension exceptionnelles et une vaste base de connaissances, suggérant qu'ils peuvent servir d'outils efficaces pour la génération automatisée d'enquêtes. Cependant, les recherches récentes sur la génération automatisée d'enquêtes restent limitées par certaines contraintes critiques, telles qu'une fenêtre de contexte finie, un manque de discussion approfondie sur le contenu et l'absence de cadres d'évaluation systématiques. Inspirés par les processus d'écriture humaine, nous proposons SurveyX, un système efficace et organisé pour la génération automatisée d'enquêtes qui décompose le processus de composition en deux phases : la phase de préparation et la phase de génération. En introduisant de manière innovante la récupération de références en ligne, une méthode de prétraitement appelée AttributeTree, et un processus de repolissage, SurveyX améliore significativement l'efficacité de la composition d'enquêtes. Les résultats de l'évaluation expérimentale montrent que SurveyX surpasse les systèmes existants de génération automatisée d'enquêtes en termes de qualité de contenu (amélioration de 0,259) et de qualité des citations (amélioration de 1,76), approchant les performances d'experts humains sur plusieurs dimensions d'évaluation. Des exemples d'enquêtes générées par SurveyX sont disponibles sur www.surveyx.cn.

English

Large Language Models (LLMs) have demonstrated exceptional comprehension capabilities and a vast knowledge base, suggesting that LLMs can serve as efficient tools for automated survey generation. However, recent research related to automated survey generation remains constrained by some critical limitations like finite context window, lack of in-depth content discussion, and absence of systematic evaluation frameworks. Inspired by human writing processes, we propose SurveyX, an efficient and organized system for automated survey generation that decomposes the survey composing process into two phases: the Preparation and Generation phases. By innovatively introducing online reference retrieval, a pre-processing method called AttributeTree, and a re-polishing process, SurveyX significantly enhances the efficacy of survey composition. Experimental evaluation results show that SurveyX outperforms existing automated survey generation systems in content quality (0.259 improvement) and citation quality (1.76 enhancement), approaching human expert performance across multiple evaluation dimensions. Examples of surveys generated by SurveyX are available on www.surveyx.cn