주입, 정렬, 복구: 검색 없이 문서 지식을 내재화하기 위한 단계적 포스트 트레이닝

초록

대규모 언어 모델은 추론 시점에 원본 문서가 검색되지 않을 때 제한된 문서 집합에 관한 질문에 답변하지 못하는 경우가 많다. 우리는 이러한 설정을 문서 지식 내면화(document knowledge internalization), 즉 고정된 말뭉치를 검색 없는 질의응답을 위한 사용 가능한 파라미터 지식으로 변환하는 과정으로 연구한다. 우리는 IAR(Inject, Align, and Recover)를 제안하는데, 이는 구조화된 문서 지식 주입, QA 행동 정렬, 일반 능력 복구를 분리하는 3단계 사후 학습 프레임워크이다. 기존의 지속 사전 학습(continued pretraining)과 달리, Inject는 원본 문서를 연속 생성(continuation), 재작성(rewrite), 명령어 조건화 재구성(instruction-conditioned reconstruction) 목표로 변환한다. 이후 Align은 주입된 모델을 답변 중심 QA 지도 학습으로 적응시키고, Recover는 도메인 적응 모델을 기본 명령어 모델과 병합하여 일반 능력을 복구한다. Common Corpus(CC) 및 CCI 전반과 Llama, Phi, Qwen, SmolLM 모델 제품군 전반에 걸쳐, IAR은 검색 없는 문서 내면화를 위한 도메인 우선-도메인 일반 프론티어를 개선한다. 주요 비교에서 IAR은 8개의 데이터셋-모델 설정 중 7개에서 네 가지 보고 지표 모두에 대해 바닐라 SFT(Vanilla SFT) 대비 개선을 보였으며, 도메인 QA 정확도에서 평균 3.6퍼센트 포인트, IFEval, MMLU, MSBench 전반의 평균 일반 성능에서 12.1퍼센트 포인트의 향상을 달성했다. 확장된 CC 기준선 실험은 LoRA와 FAPM이 개별 일반 지표에서 우위를 점할 수 있음을 보여주지만, 선두권 또는 선두권에 근접한 도메인 내면화에 도달하는 방법들 중에서 IAR은 가장 강력한 일반 성능 프로필 중 하나를 유지한다.

English

Large language models often fail to answer questions about a bounded document collection when the source documents are not retrieved at inference time. We study this setting as document knowledge internalization: converting a fixed corpus into usable parametric knowledge for retrieval-free question answering. We propose IAR (Inject, Align, and Recover), a three-stage post-training framework that separates structured document knowledge injection, QA behavior alignment, and general ability recovery. Unlike conventional continued pretraining, Inject converts source documents into continuation, rewrite, and instruction-conditioned reconstruction objectives. Align then adapts the injected model with answer-only QA supervision, while Recover merges the domain-adapted model with the base instruction model to recover general capabilities. Across Common Corpus (CC) and CCI, and across Llama, Phi, Qwen, and SmolLM model families, IAR improves the domain-primary domain-general frontier for retrieval-free document internalization. In the main comparison, IAR improves over Vanilla SFT on all four reported metrics in 7 of 8 dataset-model settings, with average gains of 3.6 percentage points in domain QA accuracy and 12.1 percentage points in mean general performance across IFEval, MMLU, and MSBench. Extended CC baselines show that LoRA and FAPM can win individual general metrics, but among methods that also reach leading or near-leading domain internalization, IAR retains one of the strongest general profiles.