Forschungsstadt: Simulator der menschlichen Forschungsgemeinschaft

ResearchTown: Simulator of Human Research Community

December 23, 2024

Autoren: Haofei Yu, Zhaochen Hong, Zirui Cheng, Kunlun Zhu, Keyang Xuan, Jinwei Yao, Tao Feng, Jiaxuan You

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben bemerkenswertes Potenzial in wissenschaftlichen Bereichen gezeigt, doch eine grundlegende Frage bleibt unbeantwortet: Können wir menschliche Forschungsgemeinschaften mit LLMs simulieren? Die Beantwortung dieser Frage kann unser Verständnis der Prozesse hinter Ideenfindung vertiefen und die automatische Entdeckung neuer wissenschaftlicher Erkenntnisse inspirieren. In dieser Arbeit schlagen wir ResearchTown vor, ein Multi-Agenten-Framework zur Simulation von Forschungsgemeinschaften. Innerhalb dieses Rahmens wird die menschliche Forschungsgemeinschaft vereinfacht und als Agent-Daten-Graph modelliert, in dem Forscher und Papers als Agenten-Typ- bzw. Daten-Typ-Knoten dargestellt werden und basierend auf ihren Kooperationsbeziehungen verbunden sind. Wir stellen auch TextGNN vor, ein textbasiertes Inferenz-Framework, das verschiedene Forschungsaktivitäten (z. B. Papierlesen, Papier schreiben und Review schreiben) als spezielle Formen eines vereinheitlichten Message-Passing-Prozesses auf dem Agent-Daten-Graph modelliert. Zur Bewertung der Qualität der Forschungssimulation präsentieren wir ResearchBench, einen Benchmark, der eine Knotenmaskierungsvorhersageaufgabe für eine skalierbare und objektive Bewertung basierend auf Ähnlichkeit verwendet. Unsere Experimente zeigen drei Schlüsselerkenntnisse auf: (1) ResearchTown kann eine realistische Simulation kollaborativer Forschungsaktivitäten, einschließlich Papier schreiben und Review schreiben, bieten; (2) ResearchTown kann eine robuste Simulation mit mehreren Forschern und verschiedenen Papers aufrechterhalten; (3) ResearchTown kann interdisziplinäre Forschungsideen generieren, die potenziell neue Forschungsrichtungen inspirieren können.

English

Large Language Models (LLMs) have demonstrated remarkable potential in scientific domains, yet a fundamental question remains unanswered: Can we simulate human research communities with LLMs? Addressing this question can deepen our understanding of the processes behind idea brainstorming and inspire the automatic discovery of novel scientific insights. In this work, we propose ResearchTown, a multi-agent framework for research community simulation. Within this framework, the human research community is simplified and modeled as an agent-data graph, where researchers and papers are represented as agent-type and data-type nodes, respectively, and connected based on their collaboration relationships. We also introduce TextGNN, a text-based inference framework that models various research activities (e.g., paper reading, paper writing, and review writing) as special forms of a unified message-passing process on the agent-data graph. To evaluate the quality of the research simulation, we present ResearchBench, a benchmark that uses a node-masking prediction task for scalable and objective assessment based on similarity. Our experiments reveal three key findings: (1) ResearchTown can provide a realistic simulation of collaborative research activities, including paper writing and review writing; (2) ResearchTown can maintain robust simulation with multiple researchers and diverse papers; (3) ResearchTown can generate interdisciplinary research ideas that potentially inspire novel research directions.