Industrial-Instruction: 産業技術レポートから指示チューニングおよびベンチマークデータセットを構築するためのエンドツーエンドフレームワーク

要旨

産業技術報告書には、保守、トラブルシューティング、製品エンジニアリングに関する高価値な知識が含まれているが、その不均一な構造（密度の高い散文、仕様書、表）により、標準的な検索・QAパイプラインでのインデックス化と推論が困難であり、また、このような文書から構築された公開のインストラクションチューニング用データセットやベンチマークデータセットは存在しない。我々はこのギャップに対処するため、Industrial-Instructionを提案する。これは、(i) 実際の産業技術報告書から構築された2つの公開QAデータセットと、(ii) それらを生成するエンドツーエンドのパイプラインから構成される。906件の公開パナソニック文書（7,525ページ）を用いて、レイアウト認識抽出を適用し、セマンティック検索インデックスを構築し、検索されたエビデンスに基づいて5種類のクエリ-文書関係（無関連な検索、単一文書/複数文書のサポート、単一文書/複数文書の回答）のもとで多肢選択QAを合成した。初期の23.9k生成サンプルをフィルタリングした後、各データセットはソース文書とホールドアウトのベンチマーク分割を含む約13.6kのQAペアを提供する。10Bパラメータ未満の小型オープンLLMのファインチューニングにより、パナソニックのベンチマークにおいてSet-Match Accuracyが28.5%から42.0%に、F1が46.6%から63.5%に改善された。我々は、同じパイプラインで構築された2つの並列バージョンを公開する。1つはオープンウェイトのQwen3-30B-A3B-Instructモデルで生成されたものであり、もう1つはクローズドでAPIベースのClaude-Opus-4.6モデルで生成されたものである。これにより、オープンモデルとフロンティアモデルによるデータ生成の直接比較が可能になる。Claude-Opus-4.6データセットは、よりクリーンな生コーパスとより大きなファインチューニング改善をもたらす一方、コストはおよそ2桁高い。MMLU評価では、Claude-Opus-4.6データで学習したモデルは一般的な知識をほぼ全て保持するのに対し、Qwen生成データでは小さいが測定可能な忘却効果が見られる。これらのデータセットとパイプラインは、実世界の文書からスケーラブルな産業用ベンチマークとトレーニングデータを構築するための、実用的で再現可能な経路を提供する。

English

Industrial technical reports contain high-value knowledge for maintenance, troubleshooting, and product engineering, but their heterogeneous structure (dense prose, specifications, tables) makes them difficult to index and reason over with standard retrieval and QA pipelines, and no public instruction-tuning or benchmark datasets are built from such documents. We address this gap with Industrial-Instruction, contributing (i) two open QA datasets built from real industrial technical reports and (ii) the end-to-end pipeline that produces them. Using 906 public Panasonic documents (7,525 pages), we apply layout-aware extraction, build a semantic retrieval index, and synthesize multiple-choice QA grounded in retrieved evidence under five query-document relationships (irrelevant retrieval, single-/multi-document support, single-/multi-document answer). After filtering an initial 23.9k generated samples, each dataset provides approximately 13.6k QA pairs with source documents and a held-out benchmark split. Fine-tuning small open LLMs (under 10B parameters) improves Set-Match Accuracy from 28.5% to 42.0% and F1 from 46.6% to 63.5% on the Panasonic benchmark. We release two parallel versions built by the same pipeline: one generated with the open-weight Qwen3-30B-A3B-Instruct model and one with the closed, API-based Claude-Opus-4.6 model, enabling a direct comparison of open- versus frontier-model data generation. The Claude-Opus-4.6 dataset yields a cleaner raw corpus and larger fine-tuning gains, at roughly two orders of magnitude higher cost. MMLU evaluation shows models trained on the Claude-Opus-4.6 data retain essentially all general knowledge, versus a small but measurable forgetting effect for the Qwen-generated data. Together, these datasets and pipeline offer a practical, reproducible path toward scalable industrial benchmarks and training data from real-world documentation.