SurveyX: Automatización de Encuestas Académicas mediante Modelos de Lenguaje a Gran Escala

SurveyX: Academic Survey Automation via Large Language Models

February 20, 2025

Autores: Xun Liang, Jiawei Yang, Yezhaohui Wang, Chen Tang, Zifan Zheng, Simin Niu, Shichao Song, Hanyu Wang, Bo Tang, Feiyu Xiong, Keming Mao, Zhiyu li

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) han demostrado capacidades excepcionales de comprensión y una amplia base de conocimientos, lo que sugiere que los LLMs pueden servir como herramientas eficientes para la generación automatizada de encuestas. Sin embargo, investigaciones recientes relacionadas con la generación automatizada de encuestas siguen estando limitadas por algunas restricciones críticas, como una ventana de contexto finita, la falta de discusión en profundidad del contenido y la ausencia de marcos de evaluación sistemáticos. Inspirados por los procesos de escritura humana, proponemos SurveyX, un sistema eficiente y organizado para la generación automatizada de encuestas que descompone el proceso de composición de encuestas en dos fases: la fase de Preparación y la fase de Generación. Al introducir de manera innovadora la recuperación de referencias en línea, un método de preprocesamiento llamado AttributeTree y un proceso de repulido, SurveyX mejora significativamente la eficacia de la composición de encuestas. Los resultados de la evaluación experimental muestran que SurveyX supera a los sistemas existentes de generación automatizada de encuestas en calidad de contenido (una mejora de 0.259) y calidad de citas (una mejora de 1.76), acercándose al rendimiento de expertos humanos en múltiples dimensiones de evaluación. Ejemplos de encuestas generadas por SurveyX están disponibles en www.surveyx.cn.

English

Large Language Models (LLMs) have demonstrated exceptional comprehension capabilities and a vast knowledge base, suggesting that LLMs can serve as efficient tools for automated survey generation. However, recent research related to automated survey generation remains constrained by some critical limitations like finite context window, lack of in-depth content discussion, and absence of systematic evaluation frameworks. Inspired by human writing processes, we propose SurveyX, an efficient and organized system for automated survey generation that decomposes the survey composing process into two phases: the Preparation and Generation phases. By innovatively introducing online reference retrieval, a pre-processing method called AttributeTree, and a re-polishing process, SurveyX significantly enhances the efficacy of survey composition. Experimental evaluation results show that SurveyX outperforms existing automated survey generation systems in content quality (0.259 improvement) and citation quality (1.76 enhancement), approaching human expert performance across multiple evaluation dimensions. Examples of surveys generated by SurveyX are available on www.surveyx.cn