HarmProfile: 프론티어 LLM의 유해 분포 특성 분석

초록

프론티어 대규모 언어 모델(LLM) 안전성 평가는 유해 생성을 분석 대상이 아니라 공격의 결과물로 주로 취급해 왔다. 그 결과, 모델 오작동 중 생성되는 유해 출력에 대해 알려진 바가 거의 없다. 부분적으로는 프론티어 LLM의 오작동을 대규모로 수집한 고품질 데이터셋을 확보하기 어렵기 때문이다. 이러한 공백을 해소하기 위해, 우리는 다양한 유해 범주와 모델 계열에 걸친 모델 오작동을 수집하고, 그로부터 도출된 유해 출력 분포를 모델 수준의 위험 프로파일로 정의하는 내용 중심 벤치마크 데이터셋인 HarmProfile을 소개한다. 기본 전제는 언어 행동이 발화 코퍼스에서 특성화될 수 있듯이, 모델 위험 역시 안전성 실패의 내용, 심각도, 그리고 다양성을 통해 특성화될 수 있다는 것이다. HarmProfile은 13개 모델 계열에 걸친 23개 프론티어 LLM에서 수집한 80,000개 이상의 검증된 산출물을 포함하며, 15개 유해 범주와 57개 하위 범주로 구성된다. 이 코퍼스를 사용하여, 우리는 프론티어 LLM이 대규모로 유해 콘텐츠를 안정적으로 생성하면서도 뚜렷한 위험 프로파일을 나타낸다는 사실을 발견했다. 유해성과 다양성은 모두 모델 능력과 함께 증가하며, 이는 프론티어 LLM이 겉으로는 안전해 보일지라도 정렬 표면 아래에 점점 더 위험한 지식을 숨기고 있을 수 있음을 시사한다. 소스 코드는 https://github.com/fresh-ma/HarmProfile에서 확인할 수 있다.

English

Frontier large language models (LLMs) safety evaluation has largely treated harmful generation as an attack outcome rather than as an object of analysis. Consequently, little is known about the harmful outputs produced during model misbehavior, partly because large-scale, high-quality collections of frontier-LLM misbehavior are difficult to obtain. To address this gap, we introduce HarmProfile, a content-centric benchmark dataset that collects model misbehavior across diverse harm categories and model families, and defines the resulting harmful-output distribution as a model-level risk profile. The premise is that, just as linguistic behavior can be characterized from an utterance corpus, model risk can be characterized from the content, severity, and variation of its safety failures. HarmProfile contains over 80,000 validated artifacts from 23 frontier LLMs across 13 model families, organized into 15 harm categories and 57 subcategories. Using this corpus, we find that frontier LLMs reliably produce harmful content at scale, yet exhibit distinct risk profiles; both harmfulness and diversity grow with model capability, suggesting that frontier LLMs may appear safe yet harbor increasingly dangerous knowledge beneath the alignment surface. Our source code is available at https://github.com/fresh-ma/HarmProfile .