HarmProfile: フロンティアLLMにおける有害な分布の特徴付け

要旨

フロンティア大規模言語モデル（LLM）の安全性評価は、これまで有害な生成を分析の対象としてではなく、攻撃の結果として扱ってきた。そのため、モデルの誤動作中に生成される有害な出力についてはほとんど知られていない。その一因は、フロンティアLLMの誤動作に関する大規模かつ高品質なコレクションの入手が困難であることにある。このギャップを埋めるために、我々はHarmProfileを紹介する。これは、多様な有害カテゴリとモデルファミリーにわたってモデルの誤動作を収集したコンテンツ中心のベンチマークデータセットであり、その結果得られる有害出力の分布をモデルレベルのリスクプロファイルとして定義する。その前提は、言語行動が発話コーパスから特徴づけられるのと同様に、モデルのリスクは安全性の失敗の内容、重大性、多様性から特徴づけることができるというものである。HarmProfileには、13のモデルファミリーにわたる23のフロンティアLLMから得られた8万以上の検証済みアーティファクトが含まれ、15の有害カテゴリと57のサブカテゴリに整理されている。このコーパスを用いた分析により、フロンティアLLMは大規模に有害なコンテンツを確実に生成する一方で、それぞれに異なるリスクプロファイルを示すことが明らかになった。さらに、有害性と多様性はどちらもモデルの能力とともに増大する。これは、フロンティアLLMが安全に見える一方で、アライメントの表面の下にますます危険な知識を秘めている可能性を示唆する。我々のソースコードは https://github.com/fresh-ma/HarmProfile で入手可能である。

English

Frontier large language models (LLMs) safety evaluation has largely treated harmful generation as an attack outcome rather than as an object of analysis. Consequently, little is known about the harmful outputs produced during model misbehavior, partly because large-scale, high-quality collections of frontier-LLM misbehavior are difficult to obtain. To address this gap, we introduce HarmProfile, a content-centric benchmark dataset that collects model misbehavior across diverse harm categories and model families, and defines the resulting harmful-output distribution as a model-level risk profile. The premise is that, just as linguistic behavior can be characterized from an utterance corpus, model risk can be characterized from the content, severity, and variation of its safety failures. HarmProfile contains over 80,000 validated artifacts from 23 frontier LLMs across 13 model families, organized into 15 harm categories and 57 subcategories. Using this corpus, we find that frontier LLMs reliably produce harmful content at scale, yet exhibit distinct risk profiles; both harmfulness and diversity grow with model capability, suggesting that frontier LLMs may appear safe yet harbor increasingly dangerous knowledge beneath the alignment surface. Our source code is available at https://github.com/fresh-ma/HarmProfile .