Дельфин: Замкнутый цикл открытого автоматического исследования через мышление, практику и обратную связь

Dolphin: Closed-loop Open-ended Auto-research through Thinking, Practice, and Feedback

January 7, 2025

Авторы: Jiakang Yuan, Xiangchao Yan, Botian Shi, Tao Chen, Wanli Ouyang, Bo Zhang, Lei Bai, Yu Qiao, Bowen Zhou

cs.AI

Аннотация

Научная парадигма исследований претерпевает глубокие изменения вследствие развития искусственного интеллекта (ИИ). Недавние работы демонстрируют, что различные методы исследований, поддерживаемые ИИ, могут значительно улучшить эффективность исследований путем улучшения анализа данных, ускорения вычислений и поощрения генерации новых идей. Для того чтобы продвигаться к конечной цели (т.е. автоматическим научным исследованиям), в данной статье мы предлагаем Dolphin - первую замкнутую автоматизированную систему открытого исследования для дальнейшего построения всего процесса человеческих научных исследований. Dolphin способен генерировать идеи для исследований, проводить эксперименты и получать обратную связь по результатам экспериментов для генерации идей более высокого качества. Более конкретно, Dolphin сначала генерирует новые идеи на основе соответствующих статей, которые ранжируются по атрибутам темы и задачи. Затем коды автоматически генерируются и отлаживаются с помощью структуры локального кода, направляемой исключениями и трассировкой. Наконец, Dolphin автоматически анализирует результаты каждой идеи и обратно подает результаты на следующий этап генерации идей. Эксперименты проводятся на стандартных наборах данных по различным темам, и результаты показывают, что Dolphin способен непрерывно генерировать новые идеи и завершать эксперимент в цикле. Мы подчеркиваем, что Dolphin способен автоматически предлагать методы, сравнимые с передовыми методами в некоторых задачах, таких как классификация 2D изображений и классификация 3D точек.

English

The scientific research paradigm is undergoing a profound transformation owing to the development of Artificial Intelligence (AI). Recent works demonstrate that various AI-assisted research methods can largely improve research efficiency by improving data analysis, accelerating computation, and fostering novel idea generation. To further move towards the ultimate goal (i.e., automatic scientific research), in this paper, we propose Dolphin, the first closed-loop open-ended auto-research framework to further build the entire process of human scientific research. Dolphin can generate research ideas, perform experiments, and get feedback from experimental results to generate higher-quality ideas. More specifically, Dolphin first generates novel ideas based on relevant papers which are ranked by the topic and task attributes. Then, the codes are automatically generated and debugged with the exception-traceback-guided local code structure. Finally, Dolphin automatically analyzes the results of each idea and feeds the results back to the next round of idea generation. Experiments are conducted on the benchmark datasets of different topics and results show that Dolphin can generate novel ideas continuously and complete the experiment in a loop. We highlight that Dolphin can automatically propose methods that are comparable to the state-of-the-art in some tasks such as 2D image classification and 3D point classification.