누구를 위한 안전인가? 제어된 LLM 안전 거부를 위한 경계 인식 자기 증류

초록

안전 정렬(safety alignment)은 일반적으로 주제 수준의 질문으로 간주된다: 이 주제가 유해한가? 그러나 실제 배포 환경에서는 더 좁은 범위의 질문이 제기된다. 시민 교육 튜터와 공공 부문 어시스턴트는 동일한 기반 모델을 공유할 수 있지만, 동일한 주제 내에서 서로 다른 경계를 필요로 한다. 즉, 특정 정치적 조작은 거부하면서도 동일한 선거에 관한 사실적 질문에는 여전히 답변해야 한다. 우리는 이를 좁은 경계 안전(narrow-boundary safety)으로 정식화하고, 통제된 주제 생성, 범위 보완(coverage repair), 분포 내 보상 데이터(in-distribution compensation data), 그리고 훈련 및 평가를 위한 유해-무해 쌍(harmful-benign pairs)을 결합한 오프라인 자기 생성 프레임워크를 도입한다. 단회 생성(single-shot generation)은 프롬프트의 19.88%에서 수용된 거절 추적(refusal traces)을 생성하지 못하는 반면, 단계적 재시도(escalating retries)는 0.20%만 남긴다. Qwen3-8B를 사용한 정치적 설득 실험에서, Escalate를 통해 완성된 거절 데이터로 훈련한 결과 대상 도메인 거절률이 9.47%에서 84.75%로 증가했고, 세 가지 광범위한 유해성 벤치마크에서 평균 불안전 응답률이 26.26%에서 0.14%로 감소했지만, XSTest 과잉 거절(over-refusal)은 2.00%에서 74.00%로 증가했다. 별도의 매칭 비교 실험에서는 외부 응답을 검증된 대상 모델 응답으로 대체함으로써 과잉 거절이 15.20%에서 5.20%로 감소했다. 경계 쌍(boundary-pair) 데이터는 유지된 쌍(held-out pairs)에서 준수 측(comply-side) 과잉 거절을 32.94%에서 4.16%로 감소시킨 반면, 유해 측(harmful-side) 거절률은 91.88%에서 87.72%로 소폭 감소에 그쳤다. 이러한 결과는 데이터 구성이 안전성과 유용성 간의 균형을 통제하며, 안전 정렬은 의도된 거절 경계의 양측 모두에서 평가되어야 함을 보여준다.

English

Safety alignment is usually posed as a topic-level question: is this subject harmful? Deployments ask a narrower one. A civics tutor and a public-sector assistant may share a base model yet need different boundaries inside the same topic, refusing targeted political manipulation while still answering factual questions about the same election. We formulate this as narrow-boundary safety and introduce an offline self-generated framework combining controlled topic generation, coverage repair, in-distribution compensation data, and harmful-benign pairs for training and evaluation. Single-shot generation leaves 19.88% of prompts without accepted refusal traces, whereas escalating retries leave 0.20%. On political persuasion with Qwen3-8B, training on refusal data completed through Escalate increases target-domain refusal from 9.47% to 84.75% and reduces the mean unsafe-response rate across three broader harmfulness benchmarks from 26.26% to 0.14%, but increases XSTest over-refusal from 2.00% to 74.00%. In a separate matched comparison, replacing external responses with verified target-model responses reduces over-refusal from 15.20% to 5.20%. Boundary-pair data reduces comply-side over-refusal on held-out pairs from 32.94% to 4.16%, while harmful-side refusal decreases only from 91.88% to 87.72%. These results show that data composition controls the safety and usability trade-off, and that safety alignment should be evaluated on both sides of the intended refusal boundary.