Industrial-Instruction: 산업 기술 보고서로부터 인스트럭션 튜닝 및 벤치마크 데이터셋을 구축하기 위한 엔드투엔드 프레임워크

초록

산업 기술 보고서에는 유지보수, 트러블슈팅, 제품 엔지니어링을 위한 고부가가치 지식이 포함되어 있지만, 이질적 구조(밀도 높은 산문, 사양, 표)로 인해 표준 검색 및 QA 파이프라인으로 인덱싱하고 추론하기 어렵다. 또한 이러한 문서로 구축된 공개 인스트럭션 튜닝 또는 벤치마크 데이터셋은 존재하지 않는다. 우리는 Industrial-Instruction으로 이러한 공백을 해결하며, (i) 실제 산업 기술 보고서로 구축된 두 개의 공개 QA 데이터셋과 (ii) 이를 생성하는 엔드투엔드 파이프라인을 제공한다. 906개의 공개 Panasonic 문서(7,525페이지)를 사용하여 레이아웃 인식 추출을 적용하고, 의미론적 검색 인덱스를 구축하며, 다섯 가지 쿼리-문서 관계(무관련 검색, 단일/다중 문서 지원, 단일/다중 문서 답변) 하에서 검색된 증거에 기반한 객관식 QA를 합성한다. 초기 23.9k 생성 샘플을 필터링한 후, 각 데이터셋은 소스 문서와 보류된 벤치마크 분할을 포함한 약 13.6k QA 쌍을 제공한다. 소규모 공개 LLM(10B 파라미터 미만)을 미세 조정하면 Panasonic 벤치마크에서 Set-Match Accuracy가 28.5%에서 42.0%로, F1이 46.6%에서 63.5%로 향상된다. 우리는 동일한 파이프라인으로 구축된 두 개의 병렬 버전을 공개한다: 하나는 오픈 가중치 Qwen3-30B-A3B-Instruct 모델로 생성되었고, 다른 하나는 폐쇄형 API 기반 Claude-Opus-4.6 모델로 생성되어, 오픈 모델과 프런티어 모델의 데이터 생성을 직접 비교할 수 있다. Claude-Opus-4.6 데이터셋은 더 깨끗한 원시 말뭉치와 더 큰 미세 조정 효과를 제공하지만, 비용은 약 두 자릿수 더 높다. MMLU 평가에 따르면 Claude-Opus-4.6 데이터로 훈련된 모델은 본질적으로 모든 일반 지식을 유지하는 반면, Qwen 생성 데이터의 경우 작지만 측정 가능한 망각 효과가 나타난다. 이러한 데이터셋과 파이프라인은 함께 실제 문서에서 확장 가능한 산업 벤치마크와 훈련 데이터를 구축하기 위한 실용적이고 재현 가능한 경로를 제공한다.

English

Industrial technical reports contain high-value knowledge for maintenance, troubleshooting, and product engineering, but their heterogeneous structure (dense prose, specifications, tables) makes them difficult to index and reason over with standard retrieval and QA pipelines, and no public instruction-tuning or benchmark datasets are built from such documents. We address this gap with Industrial-Instruction, contributing (i) two open QA datasets built from real industrial technical reports and (ii) the end-to-end pipeline that produces them. Using 906 public Panasonic documents (7,525 pages), we apply layout-aware extraction, build a semantic retrieval index, and synthesize multiple-choice QA grounded in retrieved evidence under five query-document relationships (irrelevant retrieval, single-/multi-document support, single-/multi-document answer). After filtering an initial 23.9k generated samples, each dataset provides approximately 13.6k QA pairs with source documents and a held-out benchmark split. Fine-tuning small open LLMs (under 10B parameters) improves Set-Match Accuracy from 28.5% to 42.0% and F1 from 46.6% to 63.5% on the Panasonic benchmark. We release two parallel versions built by the same pipeline: one generated with the open-weight Qwen3-30B-A3B-Instruct model and one with the closed, API-based Claude-Opus-4.6 model, enabling a direct comparison of open- versus frontier-model data generation. The Claude-Opus-4.6 dataset yields a cleaner raw corpus and larger fine-tuning gains, at roughly two orders of magnitude higher cost. MMLU evaluation shows models trained on the Claude-Opus-4.6 data retain essentially all general knowledge, versus a small but measurable forgetting effect for the Qwen-generated data. Together, these datasets and pipeline offer a practical, reproducible path toward scalable industrial benchmarks and training data from real-world documentation.