CLEAR: 有用性を維持するLLM安全性アライメントのための連続潜在アダプタルーティング

要旨

大規模言語モデル（LLM）の安全性を向上させることは、しばしば有用性を犠牲にすることを伴う。なぜなら、全体的に適用される安全性チューニングは、有害な入力と無害な入力の両方に対するモデルの応答に影響を与える可能性があるためである。本稿では、連続潜在アダプタルーティング（CLEAR）を提案する。これは、軽量な隠れ状態ゲートを用いて安全性低ランクアダプタの活性化強度を連続的に制御する、条件付き安全性適応フレームワークである。CLEARは、凍結されたバックボーンに対する不要な変更を回避しつつ、有害な出力を低減することを目的とする。そのような変更は、無害なプロンプトに対する性能を低下させ得る。広く用いられている安全性および有用性ベンチマークでの実験により、CLEARはHarmBenchにおける堅牢性を向上させるとともに、SFTや標準的な低ランク適応（LoRA）などの全体的に適用される安全性チューニングで観察される有用性の低下を軽減することが示された。Llama-3-8B-Instructでは、CLEARはHarmBenchの攻撃成功率（ASR）を32.3%から0.5%に低減しつつ、ベースモデルの有用性の大部分を維持し、全体的に適用されるSFTまたはLoRAよりもGSM8K精度を最大7.1パーセンテージポイント向上させた。これらの結果は、CLEARがLLMアライメントにおける安全性と有用性のトレードオフを改善する有望なメカニズムであることを示唆している。

English

Improving the safety of large language models (LLMs) often comes at the expense of utility, as globally applied safety tuning may affect model responses to both harmful and benign inputs. We propose Continuous LatEnt Adapter Routing (CLEAR), a conditional safety adaptation framework that uses a lightweight hidden-state gate to continuously control the activation strength of a safety low-rank adapter. CLEAR aims to reduce harmful completions while avoiding unnecessary changes to the frozen backbone that could degrade performance on benign prompts. Experiments on widely used safety and utility benchmarks show that CLEAR improves robustness on HarmBench while reducing the utility degradation observed with globally applied safety tuning such as SFT or standard low-rank adaptation (LoRA). On Llama-3-8B-Instruct, CLEAR reduces HarmBench ASR from 32.3\% to 0.5\%, while retaining most of the base model's utility and achieving up to 7.1 percentage points higher GSM8K accuracy than globally applied SFT or LoRA. These results suggest that CLEAR is a promising mechanism for improving the safety--utility trade-off in LLM alignment.