SurveyX: Automatisierung akademischer Umfragen durch große Sprachmodelle

SurveyX: Academic Survey Automation via Large Language Models

February 20, 2025

Autoren: Xun Liang, Jiawei Yang, Yezhaohui Wang, Chen Tang, Zifan Zheng, Simin Niu, Shichao Song, Hanyu Wang, Bo Tang, Feiyu Xiong, Keming Mao, Zhiyu li

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben außergewöhnliche Verständnisfähigkeiten und eine umfangreiche Wissensbasis demonstriert, was darauf hindeutet, dass LLMs als effiziente Werkzeuge für die automatisierte Erstellung von Umfragen dienen können. Allerdings ist die aktuelle Forschung im Bereich der automatisierten Umfragenerstellung durch einige kritische Einschränkungen wie ein begrenztes Kontextfenster, das Fehlen von tiefgehenden Inhaltsdiskussionen und das Fehlen systematischer Evaluierungsrahmen eingeschränkt. Inspiriert von menschlichen Schreibprozessen schlagen wir SurveyX vor, ein effizientes und strukturiertes System für die automatisierte Erstellung von Umfragen, das den Prozess der Umfrageerstellung in zwei Phasen unterteilt: die Vorbereitungs- und die Generierungsphase. Durch die innovative Einführung von Online-Referenzrecherche, einer Vorverarbeitungsmethode namens AttributeTree und einem Nachbearbeitungsprozess verbessert SurveyX die Effizienz der Umfrageerstellung erheblich. Experimentelle Evaluierungsergebnisse zeigen, dass SurveyX bestehende Systeme zur automatisierten Umfragenerstellung in Bezug auf die Inhaltsqualität (0,259 Verbesserung) und die Zitierqualität (1,76 Verbesserung) übertrifft und sich in mehreren Evaluierungsdimensionen der Leistung menschlicher Experten annähert. Beispiele für von SurveyX erstellte Umfragen sind auf www.surveyx.cn verfügbar.

English

Large Language Models (LLMs) have demonstrated exceptional comprehension capabilities and a vast knowledge base, suggesting that LLMs can serve as efficient tools for automated survey generation. However, recent research related to automated survey generation remains constrained by some critical limitations like finite context window, lack of in-depth content discussion, and absence of systematic evaluation frameworks. Inspired by human writing processes, we propose SurveyX, an efficient and organized system for automated survey generation that decomposes the survey composing process into two phases: the Preparation and Generation phases. By innovatively introducing online reference retrieval, a pre-processing method called AttributeTree, and a re-polishing process, SurveyX significantly enhances the efficacy of survey composition. Experimental evaluation results show that SurveyX outperforms existing automated survey generation systems in content quality (0.259 improvement) and citation quality (1.76 enhancement), approaching human expert performance across multiple evaluation dimensions. Examples of surveys generated by SurveyX are available on www.surveyx.cn