AI 연구 에이전트, 과학적 탐구 범위를 좁히다

초록

AI 연구 에이전트는 이제 연구 아이디어를 생성하고, 실험을 설계하며, 코드를 실행하고, 논문을 초안 작성할 수 있어 대규모 AI 지원 과학적 발견의 가능성을 제기한다. 많은 현재 에이전트 프레임워크는 명시적으로 새롭고 영향력이 큰 아이디어의 생성을 장려한다. 그러나 AI 지원 아이디어 생성이 과학적 탐구를 확장하는지 아니면 주로 기존 연구 주변에 집중되는지 여부는 여전히 불분명하다. 우리는 AI 연구 에이전트를 과학적 탐색 시스템으로 연구한다. 네 가지 AI 연구 에이전트 프레임워크와 여섯 개의 대규모 언어 모델을 사용하여, AI 및 머신러닝의 인용 기반 연구 분야 전반에 걸쳐 공유된 시드 문헌으로부터 37,802개의 과학적 아이디어를 생성한다. 그런 다음 생성된 AI 아이디어를 동일한 연구 분야의 인간 저자 논문, 동일한 시드 문헌에서 파생된 후속 인간 연구, 그리고 시드 문헌 자체와 비교한다. 실험 전반에 걸쳐 네 가지 일관된 패턴이 나타난다. 첫째, AI 생성 아이디어는 동일한 연구 분야의 인간 저자 논문보다 훨씬 더 집중되어 있다. 둘째, AI 생성 아이디어는 후속 인간 연구보다 시작 문헌에 훨씬 더 가깝게 유지된다. 셋째, AI 생성 아이디어와 가장 유사한 논문들은 이후 인용 횟수가 낮은 경향을 보인다. 넷째, AI 생성 아이디어가 기존 연구와 다를 때, 그 차이는 근본적으로 새로운 연구 질문을 도입하기보다는 기존 기술적 방법을 재조합하는 데서 주로 발생한다. 전반적으로, 현재 AI 연구 에이전트는 과학적 탐구를 확장하기보다는 국소적 정교화에 더 적합한 것으로 보인다.

English

AI research agents can now generate research ideas, design experiments, run code, and draft papers, raising the possibility of large-scale AI-assisted scientific discovery. Many current agent frameworks explicitly encourage the generation of novel and high-impact ideas. Yet it remains unclear whether AI-assisted ideation broadens scientific exploration or mainly concentrates around existing work. We study AI research agents as scientific search systems. Using four AI research-agent frameworks and six large language models, we generate 37,802 scientific ideas from shared seed literature across citation-defined research areas in AI and machine learning. We then compare the resulting AI ideas against human-authored papers from the same research areas, follow-on human research emerging from the same seed literature, and the seed literature itself. Across experiments, four consistent patterns emerge. First, AI-generated ideas are substantially more concentrated than human-authored papers from the same research areas. Second, AI-generated ideas remain much closer to their starting literature than later human follow-on work does. Third, papers most similar to AI-generated ideas tend to receive lower subsequent citations. Fourth, when AI-generated ideas differ from prior work, the differences arise primarily from recombining existing technical methods rather than introducing fundamentally new research questions. Overall, current AI research agents appear better suited to local elaboration than to broadening scientific exploration.