대규모 발견 모델: 경험적 기반의 모델 기반 개방형 탐색

초록

과학적 발견은 종종 분자, 단백질 서열, 컴퓨터 프로그램과 같은 방대하고 구조화된 개방형 가설 공간에 대해 평가 비용이 높은 목적 함수를 최적화하는 것을 수반한다. 대규모 언어 모델(LLM)과 같은 생성 모델은 이러한 공간에 대해 표현력이 풍부한 사전 분포를 제공하지만, 이들의 우도와 자기 평가는 특히 관측된 데이터 분포를 벗어난 새로운 후보에 대해서는 목적 함수와 보정된 인식론적 불확실성에 대한 신뢰할 수 없는 대리 지표이다. 본 연구에서는 생성 모델과 베이즈 비모수 보상 대리 모델을 결합한 경험적으로 기반한 순환 아키텍처인 대형 발견 모델(LDM)을 소개한다. 생성 모델은 후보 설계안을 제안하고 개선하는 반면, 대리 모델은 이들의 성능을 예측하고 불확실성을 정량화하여, 후보 생성, 개선, 선택을 안내하는 불확실성 인지 값을 산출한다. 발견 메모리와 대리 모델은 새로운 실험 관측이 도착할 때마다 지속적으로 갱신된다. 우리는 신경망 훈련, 항체 설계, 분자 최적화를 포함하여 서로 다른 설계 양식과 목적 함수에 걸친 세 가지 시나리오에서 LDM을 평가한다. 이러한 도메인 전반에 걸쳐 LLM 단독 반성이나 전통적인 통계적 탐색과 비교하여, LDM은 검증 BPB에서 2.4배 더 큰 감소, 결합 에너지에서 18.2%의 상대적 감소, 분자 다중 목적 성능에서 60% 이상의 상대적 향상을 달성한다. 이러한 결과는 LDM이 개방형 가설 공간에 대한 효과적인 탐색을 위한 범용 발견 엔진으로 기능할 수 있음을 시사한다.

English

Scientific discovery often involves optimising expensive-to-evaluate objectives over vast, structured, and open-ended hypothesis spaces, such as molecules, protein sequences, and computer programs. Generative models such as large language models (LLMs) provide expressive priors over such spaces, but their likelihoods and self-assessments are unreliable proxies for the objectives and calibrated epistemic uncertainty, especially for novel candidates outside the observed data distribution. We introduce the Large Discovery Model (LDM), an empirically grounded recurrent architecture that couples a generative model with a Bayesian non-parametric reward surrogate model. The generative model proposes and refines candidate designs, while the surrogate predicts their performance and quantifies uncertainty, yielding an uncertainty-aware value that guides candidate generation, refinement, and selection. The discovery memory and the surrogate model are continually updated as each new experimental observation arrives. We evaluate LDM on three scenarios spanning different design modalities and objectives, including neural-network training, antibody design, and molecular optimisation. Compared to LLM-only reflection or traditional statistical search across these domains, LDM achieves a 2.4times greater reduction in validation BPB, an 18.2% relative decrease in binding energy, and more than 60% relative gains in molecular multi-objective performance. These results suggests that LDM could serve as a general-purpose discovery engine for effective search over open-ended hypothesis spaces.