Исследовательский город: Симулятор научного сообщества.

ResearchTown: Simulator of Human Research Community

December 23, 2024

Авторы: Haofei Yu, Zhaochen Hong, Zirui Cheng, Kunlun Zhu, Keyang Xuan, Jinwei Yao, Tao Feng, Jiaxuan You

cs.AI

Аннотация

Большие языковые модели (LLM) продемонстрировали выдающийся потенциал в научных областях, однако остается нерешенным фундаментальный вопрос: Можем ли мы смоделировать человеческие исследовательские сообщества с помощью LLM? Решение этого вопроса может углубить наше понимание процессов, лежащих в основе идейного брейнсторминга, и вдохновить на автоматическое обнаружение новых научных идей. В данной работе мы предлагаем ResearchTown, мультиагентную структуру для симуляции исследовательского сообщества. В рамках этой структуры человеческое исследовательское сообщество упрощается и моделируется как граф агентов-данных, где исследователи и статьи представлены как узлы типа агента и типа данных соответственно, и связаны на основе их коллаборативных отношений. Мы также представляем TextGNN, текстовую инферентную структуру, которая моделирует различные исследовательские действия (например, чтение статей, написание статей и написание рецензий) как специальные формы объединенного процесса передачи сообщений на графе агентов-данных. Для оценки качества симуляции исследований мы представляем ResearchBench, бенчмарк, который использует задачу предсказания маскировки узлов для масштабируемой и объективной оценки на основе сходства. Наши эксперименты раскрывают три ключевых вывода: (1) ResearchTown может обеспечить реалистичную симуляцию коллаборативных исследовательских действий, включая написание статей и написание рецензий; (2) ResearchTown может поддерживать надежную симуляцию с участием нескольких исследователей и разнообразных статей; (3) ResearchTown может генерировать междисциплинарные исследовательские идеи, которые потенциально вдохновляют на новые направления исследований.

English

Large Language Models (LLMs) have demonstrated remarkable potential in scientific domains, yet a fundamental question remains unanswered: Can we simulate human research communities with LLMs? Addressing this question can deepen our understanding of the processes behind idea brainstorming and inspire the automatic discovery of novel scientific insights. In this work, we propose ResearchTown, a multi-agent framework for research community simulation. Within this framework, the human research community is simplified and modeled as an agent-data graph, where researchers and papers are represented as agent-type and data-type nodes, respectively, and connected based on their collaboration relationships. We also introduce TextGNN, a text-based inference framework that models various research activities (e.g., paper reading, paper writing, and review writing) as special forms of a unified message-passing process on the agent-data graph. To evaluate the quality of the research simulation, we present ResearchBench, a benchmark that uses a node-masking prediction task for scalable and objective assessment based on similarity. Our experiments reveal three key findings: (1) ResearchTown can provide a realistic simulation of collaborative research activities, including paper writing and review writing; (2) ResearchTown can maintain robust simulation with multiple researchers and diverse papers; (3) ResearchTown can generate interdisciplinary research ideas that potentially inspire novel research directions.