CLEAR: 유용성 보존 LLM 안전성 정렬을 위한 연속 잠재 어댑터 라우팅

초록

대규모 언어 모델(LLM)의 안전성을 개선하는 것은 종종 유용성의 희생을 수반하는데, 이는 전역적으로 적용되는 안전성 튜닝이 유해한 입력과 무해한 입력 모두에 대한 모델 응답에 영향을 미칠 수 있기 때문이다. 본 논문에서는 경량 은닉 상태 게이트를 사용하여 안전성 저랭크 어댑터의 활성화 강도를 연속적으로 제어하는 조건부 안전성 적응 프레임워크인 CLEAR(Continuous LatEnt Adapter Routing)를 제안한다. CLEAR는 유해한 응답을 줄이는 동시에 무해한 프롬프트에 대한 성능 저하를 초래할 수 있는 동결된 백본의 불필요한 변경을 회피하는 것을 목표로 한다. 널리 사용되는 안전성 및 유용성 벤치마크에 대한 실험 결과, CLEAR는 HarmBench에서 강건성을 개선하면서도 SFT 또는 표준 저랭크 적응(LoRA)과 같은 전역적으로 적용되는 안전성 튜닝에서 관찰되는 유용성 저하를 줄이는 것으로 나타났다. Llama-3-8B-Instruct에서 CLEAR는 HarmBench ASR을 32.3%에서 0.5%로 감소시키면서도 기본 모델의 유용성을 대부분 유지하였고, 전역적으로 적용되는 SFT 또는 LoRA 대비 GSM8K 정확도를 최대 7.1퍼센트 포인트 향상시켰다. 이러한 결과는 CLEAR가 LLM 정렬에서 안전성-유용성 트레이드오프를 개선하기 위한 유망한 메커니즘임을 시사한다.

English

Improving the safety of large language models (LLMs) often comes at the expense of utility, as globally applied safety tuning may affect model responses to both harmful and benign inputs. We propose Continuous LatEnt Adapter Routing (CLEAR), a conditional safety adaptation framework that uses a lightweight hidden-state gate to continuously control the activation strength of a safety low-rank adapter. CLEAR aims to reduce harmful completions while avoiding unnecessary changes to the frozen backbone that could degrade performance on benign prompts. Experiments on widely used safety and utility benchmarks show that CLEAR improves robustness on HarmBench while reducing the utility degradation observed with globally applied safety tuning such as SFT or standard low-rank adaptation (LoRA). On Llama-3-8B-Instruct, CLEAR reduces HarmBench ASR from 32.3\% to 0.5\%, while retaining most of the base model's utility and achieving up to 7.1 percentage points higher GSM8K accuracy than globally applied SFT or LoRA. These results suggest that CLEAR is a promising mechanism for improving the safety--utility trade-off in LLM alignment.