그래프 기반 강화 학습을 통한 개념 재조합 기반 추적 가능한 과학적 가설 생성

초록

재료 발견의 가속화를 위해서는 다단계의 도메인 기반 추론을 통해 과학적으로 타당한 가설을 생성할 수 있는 AI 시스템이 필요하다. 표준 대규모 언어 모델은 개방형 재료 설계 문제에 대해 유창하지만 추적 가능성이 낮은 응답을 생성하는 경우가 많아, 최종 답변이 일관된 중간 추론에 의해 뒷받침되는지 판단하기 어렵다. 본 연구에서는 Graph-PRefLexOR라는 그래프 기반 추론 모델군을 개발한다. 이 모델은 그룹 상대 정책 최적화(GRPO)를 통해 미세 조정되어, 메커니즘 탐색, 그래프 구축, 패턴 추출, 가설 종합이라는 명시적 단계로 추론을 구성한다. 이러한 설계는 신경 언어 생성과 기호적 관계 구조를 연결하여, 인과 관계 연결의 구축, 검사, 재사용을 가능하게 한다. 재료 과학 및 역학 문헌의 100개 개방형 질문에 대해 Graph-PRefLexOR는 해당 기본 모델 대비 40~65%의 개선을 달성했으며, 특히 추론 추적 가능성에서 가장 큰 향상을 보였다. 임베딩 분석 결과, 더 넓은 의미론적 탐색과 기준 모델 대비 약 2~3배 더 큰 의미론적 다양성이 확인되었다. 의미론적 역추적 및 계층별 은닉 상태 분석은 구조화된 추론과 최종 답변 간의 더 강한 정렬을 보여준다. 마지막으로, 테스트 시 그래프 확장 실험은 추가 연산이 단순히 의미론적 범위를 확장하는 것이 아니라, 주로 제한된 의미 공간 내에서 장거리 개념 재조합을 증가시킨다는 것을 밝혀냈다. 이러한 결과는 그래프 기반 강화 학습이 재료 설계 및 기타 과학 응용 분야에서 과학적 가설 생성을 위한 해석 가능한 AI 시스템으로 가는 경로를 확립함을 보여준다.

English

Accelerating materials discovery requires AI systems that can generate scientifically valid hypotheses through multi-step, domain-grounded reasoning. Standard large language models often produce fluent but weakly traceable responses to open-ended materials design problems, making it difficult to determine whether final answers are supported by coherent intermediate reasoning. We develop Graph-PRefLexOR, a family of graph-native reasoning models fine-tuned with Group Relative Policy Optimization (GRPO) to organize reasoning into explicit phases for mechanism exploration, graph construction, pattern extraction, and hypothesis synthesis. This design links neural language generation with symbolic relational structure, enabling causal connections to be constructed, inspected, and reused. On 100 open-ended questions from materials science and mechanics literature, Graph-PRefLexOR achieves 40-65% improvements over corresponding base models, with the largest gains in reasoning traceability. Embedding analyses show broader semantic exploration and approximately 2-3 times greater semantic diversity than baselines. Semantic backtracking and layer-wise hidden-state analyses further show stronger alignment between structured reasoning and final answers. Finally, test-time graph expansion reveals that additional compute primarily increases long-range conceptual recombination within a bounded semantic space, rather than simply expanding semantic coverage. These results establish graph-native reinforcement learning as a pathway toward interpretable AI systems for scientific hypothesis generation in materials design and other scientific applications.