CVEをMITRE ATT&CK手法にマッピング：厳選されたゴールドセット分類器とLLM支援ラベル拡張の限界

要旨

我々は、自由文の脆弱性記述からCommon Vulnerabilities and Exposures（CVE）をMITRE ATT&CKエンタープライズ技術にマッピングするための再現可能なパイプラインを提案する。CWE→CAPEC→ATT&CKの導出チェーン（そのテーブル拡張アーティファクトを定量的に評価する）に依存するのではなく、MITRE脅威情報防御センターの専門家によるマッピングから得られた1,207件のCVEから成る厳選されたゴールドデータセットでマルチラベル分類器を訓練する。その結果、ゼロショット埋め込み類似性ベースラインと比較して、recall@5が約2倍に向上し、すべてのランキング指標が改善される。次に、LLM支援によるラベリングがゴールドデータセットを拡張できるかどうかを調査する。初期実験は矛盾した結論を示す。単一の実行では性能低下を示す一方、5つのランダムシードで平均するとわずかな向上を示唆する。しかし、独立した複製実験と拡張規模の研究（100～984件のCVE追加）により、見かけ上の改善は評価アーティファクトであることが明らかになった。LLM生成ラベル（専門家アノテーションとの一致率約0.39）は、どの拡張規模でも信頼できる改善をもたらさず、約1,000件のCVE追加時点で希少技術のカバレッジを低下させる（マクロF1が0.04減少）。根本原因は評価ノイズである。小さなテスト分割でのチェックポイント選択は、多くのノイズの多い評価に対して事実上最大化を行い、同一の実行間で最大0.05のrecall@5の差を生じさせる。検証分割のチェックポイント選択に基づく修正プロトコルを用いると、ゴールドデータのみのモデルはrecall@5（0.673±0.019）を達成し、決定的実験の再現によりLLM拡張のヌル結果が確認される。最後のスケーリング研究では、追加の専門家キュレーションデータが一貫して性能を向上させるのに対し、LLMラベルデータはそうではなく、分類器がデータセットサイズではなくラベル品質によって制限されることを示す。すべてのデータセット、モデル、コード、訓練ログは公開されている。

English

We present a reproducible pipeline for mapping Common Vulnerabilities and Exposures (CVEs) to MITRE ATT&CK Enterprise techniques from free-text vulnerability descriptions. Rather than relying on the CWE->CAPEC->ATT&CK derivation chain, whose table-expansion artifacts we quantify, we train a multi-label classifier on a curated gold dataset of 1,207 CVEs from expert MITRE Center for Threat-Informed Defense mappings. The resulting model approximately doubles recall@5 compared with a zero-shot embedding-similarity baseline and improves every ranking metric. We then investigate whether LLM-assisted labeling can extend the gold dataset. Initial experiments suggest contradictory conclusions: a single run indicates degraded performance, while averaging over five random seeds suggests a small gain. However, an independent replication and an expansion-size study (100--984 additional CVEs) show that the apparent improvement is an evaluation artifact. LLM-generated labels, with approximately 0.39 agreement with expert annotations, provide no reliable improvement at any expansion size and reduce rare-technique coverage at around 1,000 added CVEs (macro-F1 decreases by 0.04). The root cause is evaluation noise. Selecting checkpoints on a small test split effectively maximizes over many noisy evaluations, producing recall@5 differences of up to 0.05 between otherwise identical runs. Using a corrected protocol based on validation-split checkpoint selection, the gold-only model achieves recall@5 of (0.673 \pm 0.019), and repeating the decisive experiment confirms the null result for LLM expansion. A final scaling study shows that additional expert-curated data consistently improves performance, whereas LLM-labeled data does not, indicating that the classifier is limited by label quality rather than dataset size. All datasets, models, code, and training logs are publicly released.