CVE를 MITRE ATT&CK 기술에 매핑: 큐레이션된 골드셋 분류기와 LLM 기반 레이블 확장의 한계

초록

본 논문에서는 자유 텍스트 취약점 설명으로부터 CVE(Common Vulnerabilities and Exposures)를 MITRE ATT&CK 엔터프라이즈 기법에 매핑하는 재현 가능한 파이프라인을 제시한다. CWE->CAPEC->ATT&CK 유도 체인(해당 체인의 테이블 확장 인공물을 정량화함)에 의존하는 대신, MITRE 위협 정보 기반 방어 센터의 전문가 매핑을 통해 선별된 1,207개 CVE의 골드 데이터셋에서 다중 레이블 분류기를 학습시킨다. 결과 모델은 제로샷 임베딩 유사도 기준선에 비해 재현율@5가 약 두 배 향상되었으며, 모든 순위 지표가 개선되었다. 이후 LLM 기반 레이블링이 골드 데이터셋을 확장할 수 있는지 조사한다. 초기 실험은 상반된 결론을 시사한다. 한 번의 실행은 성능 저하를 나타내지만, 다섯 개의 무작위 시드를 평균하면 약간의 향상을 보인다. 그러나 독립적인 복제 실험과 확장 규모 연구(100~984개 추가 CVE)는 겉보기 개선이 평가 인공물임을 보여준다. LLM이 생성한 레이블(전문가 주석과 약 0.39의 일치도)은 모든 확장 규모에서 신뢰할 수 있는 개선을 제공하지 않으며, 약 1,000개의 CVE를 추가할 경우 희소 기법 적용 범위를 감소시킨다(매크로 F1 0.04 감소). 근본 원인은 평가 노이즈이다. 작은 테스트 분할에서 체크포인트를 선택하면 사실상 여러 노이즈가 있는 평가에서 최대값을 선택하게 되어, 그 외에는 동일한 실행 간에 재현율@5 차이가 최대 0.05까지 발생한다. 검증 분할 체크포인트 선택에 기반한 수정된 프로토콜을 사용하면, 골드 전용 모델은 재현율@5 0.673 ± 0.019를 달성하며, 결정적 실험을 반복했을 때 LLM 확장에 대한 귀무 결과가 확인된다. 최종 확장 연구는 추가적인 전문가 선별 데이터가 지속적으로 성능을 향상시키는 반면, LLM이 레이블링한 데이터는 그렇지 않음을 보여주며, 이는 분류기가 데이터셋 크기보다 레이블 품질에 의해 제한됨을 시사한다. 모든 데이터셋, 모델, 코드 및 학습 로그는 공개적으로 배포된다.

English

We present a reproducible pipeline for mapping Common Vulnerabilities and Exposures (CVEs) to MITRE ATT&CK Enterprise techniques from free-text vulnerability descriptions. Rather than relying on the CWE->CAPEC->ATT&CK derivation chain, whose table-expansion artifacts we quantify, we train a multi-label classifier on a curated gold dataset of 1,207 CVEs from expert MITRE Center for Threat-Informed Defense mappings. The resulting model approximately doubles recall@5 compared with a zero-shot embedding-similarity baseline and improves every ranking metric. We then investigate whether LLM-assisted labeling can extend the gold dataset. Initial experiments suggest contradictory conclusions: a single run indicates degraded performance, while averaging over five random seeds suggests a small gain. However, an independent replication and an expansion-size study (100--984 additional CVEs) show that the apparent improvement is an evaluation artifact. LLM-generated labels, with approximately 0.39 agreement with expert annotations, provide no reliable improvement at any expansion size and reduce rare-technique coverage at around 1,000 added CVEs (macro-F1 decreases by 0.04). The root cause is evaluation noise. Selecting checkpoints on a small test split effectively maximizes over many noisy evaluations, producing recall@5 differences of up to 0.05 between otherwise identical runs. Using a corrected protocol based on validation-split checkpoint selection, the gold-only model achieves recall@5 of (0.673 \pm 0.019), and repeating the decisive experiment confirms the null result for LLM expansion. A final scaling study shows that additional expert-curated data consistently improves performance, whereas LLM-labeled data does not, indicating that the classifier is limited by label quality rather than dataset size. All datasets, models, code, and training logs are publicly released.