SurveyX: Automação de Pesquisas Acadêmicas por meio de Modelos de Linguagem de Grande Escala

SurveyX: Academic Survey Automation via Large Language Models

February 20, 2025

Autores: Xun Liang, Jiawei Yang, Yezhaohui Wang, Chen Tang, Zifan Zheng, Simin Niu, Shichao Song, Hanyu Wang, Bo Tang, Feiyu Xiong, Keming Mao, Zhiyu li

cs.AI

Resumo

Os Modelos de Linguagem de Grande Escala (LLMs) demonstraram capacidades excepcionais de compreensão e uma vasta base de conhecimento, sugerindo que os LLMs podem servir como ferramentas eficientes para a geração automatizada de pesquisas. No entanto, pesquisas recentes relacionadas à geração automatizada de pesquisas ainda são limitadas por algumas restrições críticas, como janela de contexto finita, falta de discussão aprofundada de conteúdo e ausência de frameworks de avaliação sistemáticos. Inspirados pelos processos de escrita humana, propomos o SurveyX, um sistema eficiente e organizado para geração automatizada de pesquisas que decompõe o processo de composição de pesquisas em duas fases: as fases de Preparação e Geração. Ao introduzir de forma inovadora a recuperação de referências online, um método de pré-processamento chamado AttributeTree e um processo de repolimento, o SurveyX melhora significativamente a eficácia da composição de pesquisas. Os resultados da avaliação experimental mostram que o SurveyX supera os sistemas existentes de geração automatizada de pesquisas em qualidade de conteúdo (melhoria de 0,259) e qualidade de citações (melhoria de 1,76), aproximando-se do desempenho de especialistas humanos em múltiplas dimensões de avaliação. Exemplos de pesquisas geradas pelo SurveyX estão disponíveis em www.surveyx.cn.

English

Large Language Models (LLMs) have demonstrated exceptional comprehension capabilities and a vast knowledge base, suggesting that LLMs can serve as efficient tools for automated survey generation. However, recent research related to automated survey generation remains constrained by some critical limitations like finite context window, lack of in-depth content discussion, and absence of systematic evaluation frameworks. Inspired by human writing processes, we propose SurveyX, an efficient and organized system for automated survey generation that decomposes the survey composing process into two phases: the Preparation and Generation phases. By innovatively introducing online reference retrieval, a pre-processing method called AttributeTree, and a re-polishing process, SurveyX significantly enhances the efficacy of survey composition. Experimental evaluation results show that SurveyX outperforms existing automated survey generation systems in content quality (0.259 improvement) and citation quality (1.76 enhancement), approaching human expert performance across multiple evaluation dimensions. Examples of surveys generated by SurveyX are available on www.surveyx.cn