EmpiriGraph-Psy: 심리학 초록에서 경험적 관계 그래프를 추출하기 위한 데이터셋 및 LLM 파이프라인

초록

기존의 과학적 관계 추출 벤치마크는 주로 컴퓨터 과학과 같은 분야를 대상으로 하며, 여기서 개체는 과제, 방법, 데이터셋, 재료 또는 측정 지표이다. 이는 심리학과 같은 변수 중심 경험적 분야에서, 연구 결과가 구성개념, 측정치, 중재, 결과 간의 관계로 표현되는 경우에 간극을 남긴다. 본 연구에서는 변수 중심 경험적 그래프 추출(variable-centered empirical graph extraction)을 도입한다. 이는 과학적 초록을 노드가 정규화된 변수이고 엣지가 경험적 관계 및 계층적 관계를 나타내는 유형화된 그래프로 매핑하는 과제이다. 이 과제를 지원하기 위해, 분야 훈련을 받은 주석자들이 정규화된 변수, 개념 계층, 경험적 관계 유형 및 검증 상태로 주석을 단 210개의 심리학 초록으로 구성된 벤치마크인 EmpiriGraph-Psy를 구축하였다. 변수 추출, 정규화, 계층 구축, 증거 선택, 관계 추출 및 엣지 검증을 분리한 단계적 그래프 구축 파이프라인과 직접 추출 방식을 사용하여 최첨단 및 오픈웨이트 LLM을 평가하였다. 단계적 파이프라인은 직접 추출 방식을 상당히 능가하였으며, 최적 구성에서 매크로 F1 0.74를 달성하였다. 오류 분석 결과, 조절 관계와 개념 계층이 여전히 가장 어려운 사례임이 드러났으며, 이는 과학적 초록으로부터 고차 경험적 주장과 암묵적 추상화 구조를 추출하는 데 따르는 어려움을 강조한다.

English

Existing scientific relation extraction benchmarks mainly target domains such as computer science, where entities are tasks, methods, datasets, materials, or metrics. This leaves a gap in variable-oriented empirical fields such as psychology, where findings are expressed as relations among constructs, measurements, interventions, and outcomes. We introduce variable-centered empirical graph extraction, the task of mapping scientific abstracts to typed graphs whose nodes are normalized variables and whose edges represent empirical and hierarchical relations. To support this task, we construct EmpiriGraph-Psy, a benchmark of 210 psychology abstracts annotated by domain-trained annotators with normalized variables, concept hierarchies, empirical relation types, and validation states. We evaluate frontier and open-weight LLMs using both direct extraction and a staged graph-construction pipeline that separates variable extraction, normalization, hierarchy construction, evidence selection, relation extraction, and edge validation. The staged pipeline substantially outperforms direct extraction, with the best configuration achieving a macro-F1 of 0.74. Error analysis shows that moderation relations and concept hierarchies remain the most challenging cases, highlighting the difficulty of extracting higher-order empirical claims and implicit abstraction structure from scientific abstracts.