SciForma: 구조 충실 과학적 다이어그램 생성
SciForma: Structure-Faithful Generation of Scientific Diagrams
July 20, 2026
저자: Yuxuan Luo, Peng Zhang, Xinjie Zhang, Xun Guo, Zhouhui Lian, Yan Lu
cs.AI
초록
구조적 충실성(Structural fidelity)은 과학적 방법론 다이어그램에 필수적이다. 연구 논리를 전달하기 위해, 이러한 다이어그램은 구성 요소, 방향 관계 및 텍스트 주석을 충실하게 표현해야 한다. 단 하나의 오류(예: 화살표 방향 반전 또는 읽을 수 없는 수식)가 전체 그림을 무효화할 수 있으므로, 구조적 충실성은 본질적으로 결합적(conjunctive)이다. 즉, 한 축에서의 정확성이 다른 축의 실패를 보상할 수 없다. 현재의 오픈소스 모델은 이 기준을 충족하지 못한다. 지도 미세 조정(SFT)은 그럴듯한 레이아웃을 학습하지만 구조적 정확성을 안정적으로 보장하지 못하며, 스칼라 보상 기반 사후 훈련은 어떤 구조적 차원에서 실패했는지 모호하게 만든다. 이러한 문제를 해결하기 위해, 우리는 과학적 방법론 다이어그램의 구조 충실 생성 프레임워크인 SciForma를 소개한다. 구체적으로, SciForma는 다이어그램 품질을 구성 요소(Component), 화살표(Arrow), 텍스트(Text)의 세 가지 구조적 축으로 분해하며, 구조적 인벤토리(Structural Inventory)의 안내를 받는다. 이 기반 위에, 우리는 구조화된 훈련을 위한 SciFormaData-700K와 논리 검증 평가를 위한 SciFormaBench-2K를 구축한다. SFT가 남긴 격차를 해소하기 위해, 우리는 다차원 결합 선호 최적화(Multi-Dimensional Conjunctive Preference Optimization, M-DPO)를 개발한다. 이 방법은 모든 축에서 동시 정확성을 강제하고, 사후 훈련에서 가장 취약한 차원으로 기울기를 적응적으로 라우팅한다. 동일한 구조적 인벤토리는 추론 시 반복 편집을 가능하게 하여 잔여 오류를 교정한다. 이러한 조합을 통해 SciForma-9B는 SciFormaBench-2K와 AIBench 모두에서 모든 오픈소스 베이스라인과 GPT-Image-1.5를 능가하며, 공개 과학 다이어그램 생성을 독점 수준의 구조적 충실성에 근접하게 만든다. 코드와 데이터는 다음에서 확인할 수 있다: https://github.com/microsoft/SciForma.
English
Structural fidelity is essential to scientific methodology diagrams. To communicate research logic, these diagrams must faithfully render components, directional relations, and textual annotations. Since a single error, such as a reversed arrow or an unreadable equation, can invalidate the entire figure, structural fidelity is inherently conjunctive: correctness on one axis cannot compensate for failure on another. Current open-source models fail to satisfy this criterion. Supervised fine-tuning (SFT) learns plausible layouts but cannot reliably ensure structural correctness, while scalar reward-based post-training obscures which structural dimension has failed. To address this, we introduce SciForma, a framework for the structure faithful generation of scientific methodology diagrams. Specifically, SciForma decomposes diagram quality into three structural axes: Component, Arrow, and Text, guided by a structural inventory. Built on this foundation, we curate SciFormaData-700K for structured training and SciFormaBench-2K for logic-verified evaluation. To close the gap left by SFT, we develop Multi-Dimensional Conjunctive Preference Optimization (M-DPO), which enforces simultaneous correctness across all axes and adaptively routes gradients to the most deficient dimension in post-training. The same structural inventory also enables iterative editing at inference time to correct residual errors. This combination allows SciForma-9B to exceed all open-source baselines and GPT-Image-1.5 on both SciFormaBench-2K and AIBench, bringing open scientific diagram generation close to proprietary-level structural fidelity. Our code and data will be available at: https://github.com/microsoft/SciForma.