SurveyForge: Sobre as Heurísticas de Estruturação, Geração Orientada por Memória e Avaliação Multidimensional para a Escrita Automatizada de Pesquisas

SurveyForge: On the Outline Heuristics, Memory-Driven Generation, and Multi-dimensional Evaluation for Automated Survey Writing

March 6, 2025

Autores: Xiangchao Yan, Shiyang Feng, Jiakang Yuan, Renqiu Xia, Bin Wang, Bo Zhang, Lei Bai

cs.AI

Resumo

Os artigos de revisão desempenham um papel crucial na pesquisa científica, especialmente diante do rápido crescimento das publicações científicas. Recentemente, pesquisadores começaram a usar LLMs (Modelos de Linguagem de Grande Escala) para automatizar a geração de revisões visando maior eficiência. No entanto, a lacuna de qualidade entre as revisões geradas por LLMs e aquelas escritas por humanos permanece significativa, particularmente em termos de qualidade do esboço e precisão das citações. Para reduzir essas lacunas, apresentamos o SurveyForge, que primeiro gera o esboço analisando a estrutura lógica de esboços escritos por humanos e consultando artigos relacionados ao domínio recuperados. Em seguida, aproveitando artigos de alta qualidade recuperados da memória por nosso agente de navegação acadêmica, o SurveyForge pode gerar e refinar automaticamente o conteúdo do artigo gerado. Além disso, para alcançar uma avaliação abrangente, construímos o SurveyBench, que inclui 100 artigos de revisão escritos por humanos para comparação de taxa de vitória e avalia os artigos de revisão gerados por IA em três dimensões: referência, esboço e qualidade do conteúdo. Experimentos demonstram que o SurveyForge pode superar trabalhos anteriores, como o AutoSurvey.

English

Survey paper plays a crucial role in scientific research, especially given the rapid growth of research publications. Recently, researchers have begun using LLMs to automate survey generation for better efficiency. However, the quality gap between LLM-generated surveys and those written by human remains significant, particularly in terms of outline quality and citation accuracy. To close these gaps, we introduce SurveyForge, which first generates the outline by analyzing the logical structure of human-written outlines and referring to the retrieved domain-related articles. Subsequently, leveraging high-quality papers retrieved from memory by our scholar navigation agent, SurveyForge can automatically generate and refine the content of the generated article. Moreover, to achieve a comprehensive evaluation, we construct SurveyBench, which includes 100 human-written survey papers for win-rate comparison and assesses AI-generated survey papers across three dimensions: reference, outline, and content quality. Experiments demonstrate that SurveyForge can outperform previous works such as AutoSurvey.