Wnuan: 기업 사유 지식에 대한 질의응답을 위한 단계적 사후 학습

초록

기업 질의응답은 모델이 일반 역량을 포기하지 않으면서 사내 지식을 획득할 것을 요구한다. 본 논문에서는 문서에서 작업 지향적 감독(supervision) 신호를 구축하고, 일반 데이터 재생(replay)을 통한 지도 미세조정(supervised fine-tuning)을 수행한 후, 잔여 오류에 강화학습을 적용하는 3단계 파이프라인인 Wnuan을 제시한다. 707개 질문으로 구성된 WnuanBench에서, 주력 32B 경로는 적응 전 52.76%였던 허용 가능한 답변 비율(AAR)을 SFT 이후 80.06%, RL 이후 91.51%로 끌어올렸다. 동일한 100회 업데이트 프로토콜 하에서 잔여 오류 샘플링은 전체 풀(full-pool) 및 크기 일치 무작위 샘플링보다 각각 3.11포인트와 2.97포인트 높은 성능을 보였다. 소스 클러스터 부트스트랩 신뢰구간은 두 대조 비교 모두에서 0보다 크게 유지되었으며, 동일 도메인 검증 세트에서도 순서가 보존되었다. 일반 벤치마크 평균은 해당 경로 전반에 걸쳐 5.17포인트 하락했으며, 그 하락은 지시 수행(instruction following)에 집중되었다. 자동 평가 앙상블은 계층화된 Wnuan-Inst 응답 표본의 90.5%에서 권위 있는 도메인 전문가와 일치하는 판단을 내렸다. 이러한 결과는 단계적 기업 적응의 성과와 일반 역량 비용을 동시에 규명한다.

English

Enterprise question answering requires models to acquire proprietary knowledge without discarding general capabilities. We present Wnuan, a three-stage pipeline that constructs task-oriented supervision from documents, performs supervised fine-tuning with general-data replay, and applies reinforcement learning to residual errors. On the 707-question WnuanBench, the primary 32B route raises acceptable-answer rate (AAR) from 52.76% before adaptation to 80.06% after SFT and 91.51% after RL. Under a matched 100-update protocol, residual-error sampling outperforms full-pool and size-matched random sampling by 3.11 and 2.97 points, respectively. Source-cluster bootstrap intervals remain above zero for both contrasts, and a same-domain validation set preserves the ordering. The general-benchmark average decreases by 5.17 points across the route, concentrated in instruction following. The automatic evaluation ensemble agrees with an authoritative domain expert on 90.5% of a stratified Wnuan-Inst response sample. These results characterize both the gains and the general-capability cost of staged enterprise adaptation.