ResearchTown : Simulateur de la Communauté de Recherche Humaine

ResearchTown: Simulator of Human Research Community

December 23, 2024

Auteurs: Haofei Yu, Zhaochen Hong, Zirui Cheng, Kunlun Zhu, Keyang Xuan, Jinwei Yao, Tao Feng, Jiaxuan You

cs.AI

Résumé

Les grands modèles de langage (LLM) ont démontré un potentiel remarquable dans les domaines scientifiques, mais une question fondamentale reste sans réponse : pouvons-nous simuler des communautés de recherche humaine avec des LLM ? Aborder cette question peut approfondir notre compréhension des processus derrière le brainstorming d'idées et inspirer la découverte automatique d'insights scientifiques novateurs. Dans ce travail, nous proposons ResearchTown, un cadre multi-agent pour la simulation de communautés de recherche. Dans ce cadre, la communauté de recherche humaine est simplifiée et modélisée sous la forme d'un graphe agent-données, où les chercheurs et les articles sont représentés respectivement en tant que nœuds de type agent et de type données, et connectés en fonction de leurs relations de collaboration. Nous introduisons également TextGNN, un cadre d'inférence basé sur le texte qui modélise diverses activités de recherche (par exemple, la lecture d'articles, l'écriture d'articles et la rédaction de critiques) comme des formes spéciales d'un processus de passage de messages unifié sur le graphe agent-données. Pour évaluer la qualité de la simulation de recherche, nous présentons ResearchBench, une référence qui utilise une tâche de prédiction de masquage de nœuds pour une évaluation évolutive et objective basée sur la similarité. Nos expériences révèlent trois résultats clés : (1) ResearchTown peut fournir une simulation réaliste des activités de recherche collaborative, y compris l'écriture d'articles et la rédaction de critiques ; (2) ResearchTown peut maintenir une simulation robuste avec plusieurs chercheurs et divers articles ; (3) ResearchTown peut générer des idées de recherche interdisciplinaires qui pourraient potentiellement inspirer de nouvelles directions de recherche.

English

Large Language Models (LLMs) have demonstrated remarkable potential in scientific domains, yet a fundamental question remains unanswered: Can we simulate human research communities with LLMs? Addressing this question can deepen our understanding of the processes behind idea brainstorming and inspire the automatic discovery of novel scientific insights. In this work, we propose ResearchTown, a multi-agent framework for research community simulation. Within this framework, the human research community is simplified and modeled as an agent-data graph, where researchers and papers are represented as agent-type and data-type nodes, respectively, and connected based on their collaboration relationships. We also introduce TextGNN, a text-based inference framework that models various research activities (e.g., paper reading, paper writing, and review writing) as special forms of a unified message-passing process on the agent-data graph. To evaluate the quality of the research simulation, we present ResearchBench, a benchmark that uses a node-masking prediction task for scalable and objective assessment based on similarity. Our experiments reveal three key findings: (1) ResearchTown can provide a realistic simulation of collaborative research activities, including paper writing and review writing; (2) ResearchTown can maintain robust simulation with multiple researchers and diverse papers; (3) ResearchTown can generate interdisciplinary research ideas that potentially inspire novel research directions.