Dolfijn: Gesloten-lus Open-eindig Auto-onderzoek door Denken, Praktijk en Feedback
Dolphin: Closed-loop Open-ended Auto-research through Thinking, Practice, and Feedback
January 7, 2025
Auteurs: Jiakang Yuan, Xiangchao Yan, Botian Shi, Tao Chen, Wanli Ouyang, Bo Zhang, Lei Bai, Yu Qiao, Bowen Zhou
cs.AI
Samenvatting
Het wetenschappelijke onderzoeksparadigma ondergaat een diepgaande transformatie als gevolg van de ontwikkeling van Kunstmatige Intelligentie (AI). Recente werken tonen aan dat verschillende AI-ondersteunde onderzoeksmethoden de onderzoeksefficiëntie aanzienlijk kunnen verbeteren door de gegevensanalyse te verbeteren, berekeningen te versnellen en het genereren van nieuwe ideeën te bevorderen. Om verder te streven naar het ultieme doel (d.w.z. automatisch wetenschappelijk onderzoek), stellen we in dit artikel Dolphin voor, het eerste gesloten-lus open-ended auto-onderzoekskader om het gehele proces van menselijk wetenschappelijk onderzoek verder op te bouwen. Dolphin kan onderzoeksideeën genereren, experimenten uitvoeren en feedback krijgen van experimentele resultaten om ideeën van hogere kwaliteit te genereren. Meer specifiek genereert Dolphin eerst nieuwe ideeën op basis van relevante papers die gerangschikt zijn op basis van de onderwerp- en taakeigenschappen. Vervolgens worden de codes automatisch gegenereerd en opgeschoond met de uitzondering-traceringsgestuurde lokale codestructuur. Ten slotte analyseert Dolphin automatisch de resultaten van elk idee en geeft de resultaten terug aan de volgende ronde van ideegeneratie. Experimenten worden uitgevoerd op benchmark datasets van verschillende onderwerpen en de resultaten tonen aan dat Dolphin voortdurend nieuwe ideeën kan genereren en het experiment in een lus kan voltooien. We benadrukken dat Dolphin automatisch methoden kan voorstellen die vergelijkbaar zijn met de state-of-the-art in sommige taken zoals 2D beeldclassificatie en 3D puntclassificatie.
English
The scientific research paradigm is undergoing a profound transformation
owing to the development of Artificial Intelligence (AI). Recent works
demonstrate that various AI-assisted research methods can largely improve
research efficiency by improving data analysis, accelerating computation, and
fostering novel idea generation. To further move towards the ultimate goal
(i.e., automatic scientific research), in this paper, we propose Dolphin, the
first closed-loop open-ended auto-research framework to further build the
entire process of human scientific research. Dolphin can generate research
ideas, perform experiments, and get feedback from experimental results to
generate higher-quality ideas. More specifically, Dolphin first generates novel
ideas based on relevant papers which are ranked by the topic and task
attributes. Then, the codes are automatically generated and debugged with the
exception-traceback-guided local code structure. Finally, Dolphin automatically
analyzes the results of each idea and feeds the results back to the next round
of idea generation. Experiments are conducted on the benchmark datasets of
different topics and results show that Dolphin can generate novel ideas
continuously and complete the experiment in a loop. We highlight that Dolphin
can automatically propose methods that are comparable to the state-of-the-art
in some tasks such as 2D image classification and 3D point classification.