SurveyForge : Sur les heuristiques de structuration, la génération pilotée par la mémoire et l'évaluation multidimensionnelle pour la rédaction automatisée d'enquêtes

SurveyForge: On the Outline Heuristics, Memory-Driven Generation, and Multi-dimensional Evaluation for Automated Survey Writing

March 6, 2025

Auteurs: Xiangchao Yan, Shiyang Feng, Jiakang Yuan, Renqiu Xia, Bin Wang, Bo Zhang, Lei Bai

cs.AI

Résumé

Les articles de synthèse jouent un rôle crucial dans la recherche scientifique, en particulier compte tenu de la croissance rapide des publications de recherche. Récemment, les chercheurs ont commencé à utiliser des LLM (modèles de langage de grande taille) pour automatiser la génération de synthèses afin d'améliorer l'efficacité. Cependant, l'écart de qualité entre les synthèses générées par les LLM et celles rédigées par des humains reste significatif, notamment en termes de qualité du plan et de précision des citations. Pour combler ces lacunes, nous présentons SurveyForge, qui génère d'abord le plan en analysant la structure logique des plans rédigés par des humains et en se référant aux articles liés au domaine récupérés. Ensuite, en s'appuyant sur des articles de haute qualité récupérés de la mémoire par notre agent de navigation académique, SurveyForge peut automatiquement générer et affiner le contenu de l'article produit. Par ailleurs, pour parvenir à une évaluation complète, nous avons construit SurveyBench, qui inclut 100 articles de synthèse rédigés par des humains pour une comparaison en termes de taux de réussite et évalue les articles de synthèse générés par l'IA selon trois dimensions : les références, la qualité du plan et la qualité du contenu. Les expériences démontrent que SurveyForge surpasse les travaux précédents tels qu'AutoSurvey.

English

Survey paper plays a crucial role in scientific research, especially given the rapid growth of research publications. Recently, researchers have begun using LLMs to automate survey generation for better efficiency. However, the quality gap between LLM-generated surveys and those written by human remains significant, particularly in terms of outline quality and citation accuracy. To close these gaps, we introduce SurveyForge, which first generates the outline by analyzing the logical structure of human-written outlines and referring to the retrieved domain-related articles. Subsequently, leveraging high-quality papers retrieved from memory by our scholar navigation agent, SurveyForge can automatically generate and refine the content of the generated article. Moreover, to achieve a comprehensive evaluation, we construct SurveyBench, which includes 100 human-written survey papers for win-rate comparison and assesses AI-generated survey papers across three dimensions: reference, outline, and content quality. Experiments demonstrate that SurveyForge can outperform previous works such as AutoSurvey.