Onderzoeksstad: Simulator van de Menselijke Onderzoeksgemeenschap

ResearchTown: Simulator of Human Research Community

December 23, 2024

Auteurs: Haofei Yu, Zhaochen Hong, Zirui Cheng, Kunlun Zhu, Keyang Xuan, Jinwei Yao, Tao Feng, Jiaxuan You

cs.AI

Samenvatting

Grote Taalmodellen (LLM's) hebben opmerkelijk potentieel aangetoond in wetenschappelijke domeinen, maar er blijft een fundamentele vraag onbeantwoord: Kunnen we menselijke onderzoeksgemeenschappen simuleren met LLM's? Het beantwoorden van deze vraag kan ons inzicht verdiepen in de processen achter ideeën brainstormen en inspiratie bieden voor het automatisch ontdekken van nieuwe wetenschappelijke inzichten. In dit werk stellen we ResearchTown voor, een multi-agent raamwerk voor onderzoeksgemeenschapssimulatie. Binnen dit raamwerk wordt de menselijke onderzoeksgemeenschap vereenvoudigd en gemodelleerd als een agent-gegevensgrafiek, waar onderzoekers en papers worden voorgesteld als agent-type en gegevenstype knooppunten, respectievelijk, en verbonden op basis van hun samenwerkingsrelaties. We introduceren ook TextGNN, een op tekst gebaseerd inferentieraamwerk dat verschillende onderzoeksactiviteiten modelleert (bijv. paper lezen, paper schrijven en review schrijven) als speciale vormen van een verenigd berichten-doorgevend proces op de agent-gegevensgrafiek. Om de kwaliteit van de onderzoekssimulatie te evalueren, presenteren we ResearchBench, een benchmark die een knooppunt-maskering voorspellingstaak gebruikt voor schaalbare en objectieve beoordeling op basis van gelijkenis. Onze experimenten onthullen drie belangrijke bevindingen: (1) ResearchTown kan een realistische simulatie bieden van samenwerkingsonderzoeksactiviteiten, inclusief paper schrijven en review schrijven; (2) ResearchTown kan een robuuste simulatie behouden met meerdere onderzoekers en diverse papers; (3) ResearchTown kan interdisciplinaire onderzoeksideeën genereren die mogelijk nieuwe onderzoeksrichtingen inspireren.

English

Large Language Models (LLMs) have demonstrated remarkable potential in scientific domains, yet a fundamental question remains unanswered: Can we simulate human research communities with LLMs? Addressing this question can deepen our understanding of the processes behind idea brainstorming and inspire the automatic discovery of novel scientific insights. In this work, we propose ResearchTown, a multi-agent framework for research community simulation. Within this framework, the human research community is simplified and modeled as an agent-data graph, where researchers and papers are represented as agent-type and data-type nodes, respectively, and connected based on their collaboration relationships. We also introduce TextGNN, a text-based inference framework that models various research activities (e.g., paper reading, paper writing, and review writing) as special forms of a unified message-passing process on the agent-data graph. To evaluate the quality of the research simulation, we present ResearchBench, a benchmark that uses a node-masking prediction task for scalable and objective assessment based on similarity. Our experiments reveal three key findings: (1) ResearchTown can provide a realistic simulation of collaborative research activities, including paper writing and review writing; (2) ResearchTown can maintain robust simulation with multiple researchers and diverse papers; (3) ResearchTown can generate interdisciplinary research ideas that potentially inspire novel research directions.