ResearchTown: Simulador de la Comunidad de Investigación Humana

ResearchTown: Simulator of Human Research Community

December 23, 2024

Autores: Haofei Yu, Zhaochen Hong, Zirui Cheng, Kunlun Zhu, Keyang Xuan, Jinwei Yao, Tao Feng, Jiaxuan You

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs) han demostrado un potencial notable en dominios científicos, sin embargo, una pregunta fundamental sigue sin respuesta: ¿Podemos simular comunidades de investigación humanas con LLMs? Abordar esta pregunta puede profundizar nuestra comprensión de los procesos detrás de la lluvia de ideas y inspirar el descubrimiento automático de ideas científicas novedosas. En este trabajo, proponemos ResearchTown, un marco multiagente para la simulación de comunidades de investigación. Dentro de este marco, la comunidad de investigación humana se simplifica y modela como un grafo de agentes-datos, donde los investigadores y los artículos se representan como nodos de tipo agente y tipo de datos, respectivamente, y se conectan en función de sus relaciones de colaboración. También presentamos TextGNN, un marco de inferencia basado en texto que modela diversas actividades de investigación (por ejemplo, lectura de artículos, escritura de artículos y escritura de reseñas) como formas especiales de un proceso unificado de paso de mensajes en el grafo de agentes-datos. Para evaluar la calidad de la simulación de investigación, presentamos ResearchBench, un banco de pruebas que utiliza una tarea de predicción de enmascaramiento de nodos para una evaluación escalable y objetiva basada en la similitud. Nuestros experimentos revelan tres hallazgos clave: (1) ResearchTown puede proporcionar una simulación realista de actividades de investigación colaborativa, incluida la escritura de artículos y reseñas; (2) ResearchTown puede mantener una simulación robusta con múltiples investigadores y diversos artículos; (3) ResearchTown puede generar ideas de investigación interdisciplinarias que potencialmente inspiran nuevas direcciones de investigación.

English

Large Language Models (LLMs) have demonstrated remarkable potential in scientific domains, yet a fundamental question remains unanswered: Can we simulate human research communities with LLMs? Addressing this question can deepen our understanding of the processes behind idea brainstorming and inspire the automatic discovery of novel scientific insights. In this work, we propose ResearchTown, a multi-agent framework for research community simulation. Within this framework, the human research community is simplified and modeled as an agent-data graph, where researchers and papers are represented as agent-type and data-type nodes, respectively, and connected based on their collaboration relationships. We also introduce TextGNN, a text-based inference framework that models various research activities (e.g., paper reading, paper writing, and review writing) as special forms of a unified message-passing process on the agent-data graph. To evaluate the quality of the research simulation, we present ResearchBench, a benchmark that uses a node-masking prediction task for scalable and objective assessment based on similarity. Our experiments reveal three key findings: (1) ResearchTown can provide a realistic simulation of collaborative research activities, including paper writing and review writing; (2) ResearchTown can maintain robust simulation with multiple researchers and diverse papers; (3) ResearchTown can generate interdisciplinary research ideas that potentially inspire novel research directions.