Delfín: Investigación automática de bucle cerrado y abierta a través del pensamiento, la práctica y la retroalimentación.

Dolphin: Closed-loop Open-ended Auto-research through Thinking, Practice, and Feedback

January 7, 2025

Autores: Jiakang Yuan, Xiangchao Yan, Botian Shi, Tao Chen, Wanli Ouyang, Bo Zhang, Lei Bai, Yu Qiao, Bowen Zhou

cs.AI

Resumen

El paradigma de la investigación científica está experimentando una profunda transformación debido al desarrollo de la Inteligencia Artificial (IA). Trabajos recientes demuestran que varios métodos de investigación asistidos por IA pueden mejorar en gran medida la eficiencia de la investigación al mejorar el análisis de datos, acelerar la computación y fomentar la generación de nuevas ideas. Para avanzar hacia el objetivo último (es decir, la investigación científica automática), en este artículo proponemos Dolphin, el primer marco de autoinvestigación de bucle cerrado y abierto para construir aún más todo el proceso de investigación científica humana. Dolphin puede generar ideas de investigación, realizar experimentos y obtener retroalimentación de los resultados experimentales para generar ideas de mayor calidad. Específicamente, Dolphin primero genera ideas novedosas basadas en documentos relevantes que están clasificados por los atributos de tema y tarea. Luego, los códigos se generan automáticamente y se depuran con la estructura de código local guiada por excepciones y seguimiento. Finalmente, Dolphin analiza automáticamente los resultados de cada idea y retroalimenta los resultados para la siguiente ronda de generación de ideas. Se realizan experimentos en conjuntos de datos de referencia de diferentes temas y los resultados muestran que Dolphin puede generar ideas novedosas de forma continua y completar el experimento en un ciclo. Destacamos que Dolphin puede proponer automáticamente métodos comparables al estado del arte en algunas tareas como la clasificación de imágenes 2D y la clasificación de puntos 3D.

English

The scientific research paradigm is undergoing a profound transformation owing to the development of Artificial Intelligence (AI). Recent works demonstrate that various AI-assisted research methods can largely improve research efficiency by improving data analysis, accelerating computation, and fostering novel idea generation. To further move towards the ultimate goal (i.e., automatic scientific research), in this paper, we propose Dolphin, the first closed-loop open-ended auto-research framework to further build the entire process of human scientific research. Dolphin can generate research ideas, perform experiments, and get feedback from experimental results to generate higher-quality ideas. More specifically, Dolphin first generates novel ideas based on relevant papers which are ranked by the topic and task attributes. Then, the codes are automatically generated and debugged with the exception-traceback-guided local code structure. Finally, Dolphin automatically analyzes the results of each idea and feeds the results back to the next round of idea generation. Experiments are conducted on the benchmark datasets of different topics and results show that Dolphin can generate novel ideas continuously and complete the experiment in a loop. We highlight that Dolphin can automatically propose methods that are comparable to the state-of-the-art in some tasks such as 2D image classification and 3D point classification.