IDEAgent: 연구 아이디어 생성을 위한 에이전트 기반 질적 다양성 탐색

초록

대규모 언어 모델(LLM)은 지난 몇 년간 과학적 발견 과정을 상당 부분 자동화해 왔습니다. 그러나 기존 시스템에는 핵심적인 한계가 있습니다. 바로 품질(Quality)이나 다양성(Diversity) 중 하나만을 위해 독립적으로 아이디어를 생성하고 최적화한다는 점입니다. 이로 인해 서로 매우 가까운 아이디어들이 생성되거나, 사소하거나 타당하지 않거나 불명확한 개념들이 대량으로 생성되는 경우가 자주 발생합니다. 본 연구에서는 대신 연구 아이디어 발상을 두 목표의 결합으로 취급하고, 이를 품질-다양성(QD) 탐색의 틀로 구성해야 한다고 주장합니다. 이러한 관점에 따라, 우리는 계보(lineage)를 통해 아이디어의 진화를 관리하는 다중 에이전트 프레임워크인 IDEAgent를 소개합니다. 전용 수리 및 개선을 위한 다중 목표 피드백을 사용하여 품질을 공동으로 추진하는 동시에, 경량 순차 메모리와 완성된 아이디어, 그 역사적 조상 및 거부된 제안에 대한 명시적 비교를 통해 다양성을 달성합니다. 이러한 QD 결합을 체계적으로 평가하기 위해, 미리 정해진 품질 임계값을 충족하는 상호 다양한 아이디어 중 가장 큰 집합을 계산하는 공동 지표인 Yield를 개발했습니다. 마지막으로, 컴퓨터 과학 8개 도메인에 걸친 32개 주제에 대한 평가를 통해 IDEAgent가 최고 기준선(baseline) 대비 Yield에서 3.89배 더 뛰어난 성능을 보였으며, 8배 더 많은 주제에서 0이 아닌 Yield를 달성했음을 보여줍니다. 또한 품질 개선 분석을 통해 수리 및 개선이 비자명성(non-obviousness)을 유지하면서 논리적 엄격성과 명확성을 구축하는 데 중요함을 추가로 입증합니다. QD 탐색 기반 아이디어 발상에 대한 향후 연구를 장려하기 위해 IDEAgent를 https://github.com/declare-lab/IDEAgent에서 오픈소스로 공개합니다.

English

Large Language Models (LLMs) have significantly automated the process of scientific discovery over the past few years. However, existing systems share one core limitation: they generate and optimize ideas independently for either Quality or Diversity. This often leads to the generation of ideas in close proximity to one another or to a large set of trivial, unsound, or unclear concepts. In this work, we instead argue that research ideation should be treated as a conjunction of both objectives and framed as a Quality-Diversity (QD) search. In line with this perspective, we introduce IDEAgent, a multi-agent framework that manages the evolution of ideas through lineages. We jointly drive Quality using multi-objective feedback for dedicated repair and refinement, while Diversity is achieved through lightweight sequential memory and explicit comparison against completed ideas, their historical ancestors, and rejected proposals. To systematically evaluate this QD conjunction, we develop Yield, a joint metric that computes the largest set of mutually diverse ideas that satisfy a predetermined quality threshold. Finally, through evaluations across 32 topics spanning 8 domains of Computer Science, we show that IDEAgent outperforms the best baseline by 3.89x on Yield, while achieving non-zero Yield on 8x more topics. We further corroborate these findings through an analysis of quality improvements, showing that repair and refinement are crucial for building logical rigor and clarity while preserving non-obviousness. To encourage future research on QD-search-based ideation, we open-source IDEAgent at https://github.com/declare-lab/IDEAgent.