SurveyX: Автоматизация академических опросов с использованием больших языковых моделей

SurveyX: Academic Survey Automation via Large Language Models

February 20, 2025

Авторы: Xun Liang, Jiawei Yang, Yezhaohui Wang, Chen Tang, Zifan Zheng, Simin Niu, Shichao Song, Hanyu Wang, Bo Tang, Feiyu Xiong, Keming Mao, Zhiyu li

cs.AI

Аннотация

Крупные языковые модели (LLMs) продемонстрировали исключительные способности к пониманию и обширную базу знаний, что позволяет предположить их эффективность в качестве инструментов для автоматизированной генерации опросов. Однако современные исследования в области автоматизированного создания опросов сталкиваются с рядом критических ограничений, таких как ограниченный контекстный окно, отсутствие углубленного обсуждения содержания и систематических оценочных рамок. Вдохновленные процессом написания текстов человеком, мы предлагаем SurveyX — эффективную и организованную систему для автоматизированной генерации опросов, которая разбивает процесс составления опроса на два этапа: Подготовка и Генерация. Благодаря инновационному внедрению онлайн-поиска ссылок, метода предварительной обработки под названием AttributeTree и процесса повторной полировки, SurveyX значительно повышает эффективность составления опросов. Результаты экспериментальной оценки показывают, что SurveyX превосходит существующие системы автоматизированной генерации опросов по качеству содержания (улучшение на 0,259) и качеству цитирования (улучшение на 1,76), приближаясь к уровню экспертов-людей по нескольким оценочным параметрам. Примеры опросов, созданных с помощью SurveyX, доступны на сайте www.surveyx.cn.

English

Large Language Models (LLMs) have demonstrated exceptional comprehension capabilities and a vast knowledge base, suggesting that LLMs can serve as efficient tools for automated survey generation. However, recent research related to automated survey generation remains constrained by some critical limitations like finite context window, lack of in-depth content discussion, and absence of systematic evaluation frameworks. Inspired by human writing processes, we propose SurveyX, an efficient and organized system for automated survey generation that decomposes the survey composing process into two phases: the Preparation and Generation phases. By innovatively introducing online reference retrieval, a pre-processing method called AttributeTree, and a re-polishing process, SurveyX significantly enhances the efficacy of survey composition. Experimental evaluation results show that SurveyX outperforms existing automated survey generation systems in content quality (0.259 improvement) and citation quality (1.76 enhancement), approaching human expert performance across multiple evaluation dimensions. Examples of surveys generated by SurveyX are available on www.surveyx.cn