Dauphin : Recherche automatique en boucle fermée et ouverte à travers la réflexion, la pratique et la rétroaction

Dolphin: Closed-loop Open-ended Auto-research through Thinking, Practice, and Feedback

January 7, 2025

Auteurs: Jiakang Yuan, Xiangchao Yan, Botian Shi, Tao Chen, Wanli Ouyang, Bo Zhang, Lei Bai, Yu Qiao, Bowen Zhou

cs.AI

Résumé

Le paradigme de la recherche scientifique est en train de subir une transformation profonde grâce au développement de l'Intelligence Artificielle (IA). Des travaux récents démontrent que diverses méthodes de recherche assistées par l'IA peuvent largement améliorer l'efficacité de la recherche en améliorant l'analyse des données, en accélérant le calcul et en favorisant la génération d'idées novatrices. Pour progresser davantage vers l'objectif ultime (c'est-à-dire la recherche scientifique automatique), dans cet article, nous proposons Dolphin, le premier cadre de recherche automatique en boucle fermée et ouverte pour construire davantage l'ensemble du processus de recherche scientifique humaine. Dolphin peut générer des idées de recherche, réaliser des expériences et obtenir des retours des résultats expérimentaux pour générer des idées de meilleure qualité. Plus précisément, Dolphin génère d'abord des idées novatrices basées sur des articles pertinents classés par les attributs de sujet et de tâche. Ensuite, les codes sont automatiquement générés et débogués avec une structure de code locale guidée par l'exception-traceback. Enfin, Dolphin analyse automatiquement les résultats de chaque idée et les renvoie pour la prochaine génération d'idées. Des expériences sont menées sur des ensembles de données de référence de différents sujets et les résultats montrent que Dolphin peut générer continuellement des idées novatrices et mener l'expérience en boucle. Nous soulignons que Dolphin peut proposer automatiquement des méthodes comparables à l'état de l'art dans certaines tâches telles que la classification d'images 2D et la classification de points 3D.

English

The scientific research paradigm is undergoing a profound transformation owing to the development of Artificial Intelligence (AI). Recent works demonstrate that various AI-assisted research methods can largely improve research efficiency by improving data analysis, accelerating computation, and fostering novel idea generation. To further move towards the ultimate goal (i.e., automatic scientific research), in this paper, we propose Dolphin, the first closed-loop open-ended auto-research framework to further build the entire process of human scientific research. Dolphin can generate research ideas, perform experiments, and get feedback from experimental results to generate higher-quality ideas. More specifically, Dolphin first generates novel ideas based on relevant papers which are ranked by the topic and task attributes. Then, the codes are automatically generated and debugged with the exception-traceback-guided local code structure. Finally, Dolphin automatically analyzes the results of each idea and feeds the results back to the next round of idea generation. Experiments are conducted on the benchmark datasets of different topics and results show that Dolphin can generate novel ideas continuously and complete the experiment in a loop. We highlight that Dolphin can automatically propose methods that are comparable to the state-of-the-art in some tasks such as 2D image classification and 3D point classification.