LMSM: 리눅스 보안 모듈에서 영감을 얻은 LLM 보안 프레임워크

초록

대규모 언어 모델(LLM)은 점점 더 계층적 방어와 함께 배포되지만, 악의적인 프롬프트는 여전히 이를 우회할 수 있다. 해석 가능성 방법은 생성 경로를 따라 집행에 정보를 제공할 수 있는 모델 내부 신호를 드러낼 수 있지만, 이러한 신호는 그 자체로 보안 통제가 아니다. 이를 안전을 위해 적용하는 배포 환경은 일반적으로 각 신호를 자체 보정, 정책 로직, 개입 코드와 결합하므로, 새로운 산출물이 생길 때마다 공유 방어를 강화하는 대신 통합 작업을 낳는다. 우리는 리눅스 보안 모듈(LSM)의 기반 분리를 LLM 서빙에 적용한 보안 프레임워크인 언어 모델 보안 모듈(LMSM)을 제시한다. LMSM에서는 선택된 보안 백엔드가 보정된 증거를 노출하고, 버전 관리되는 정책이 신뢰 가능한 요청별 컨텍스트에 대해 활성 규칙을 평가하며, 별도의 게이트가 버퍼링된 출력 릴리스를 승인한다. 이 설계는 중재 정확성과 정책 효과성을 분리하며, 요청 처리나 집행을 재구축하지 않고도 백엔드, 규칙, 일정 변경을 가능하게 한다. 우리의 프로토타입은 이러한 분리가 실제로 작동함을 보여준다. Hugging Face Transformers와 연속 배치 vLLM 하에서 동일한 기반은 산출물 기반 희소 오토인코더(SAE) 및 트랜스코더 배포와 작업 맞춤형 밀집 프로브를 호스팅하고, 스케줄러 변동에도 요청별 결정을 보존하며, 요청당 여러 규칙을 선택적으로 집행하고 구성한다. Qwen3-4B에서 LMSM-Checkpoint는 HarmBench 공격 성공률을 39.20%에서 3.32%로 낮추고, XSTest 오탐 거부율은 2.40%에서 4.40%로 상승하지만, 32개 활성 시퀀스에서 모니터링 작업을 수행하지 않는 동일 구성의 서빙 경로 처리량 중 98.14%를 유지한다. LMSM은 해석 가능성과 모델 내부 분석의 발전에 런타임 집행을 위한 공통 경로를 제공한다.

English

Large language models (LLMs) are increasingly deployed with layered defenses, yet malicious prompts can still bypass them. Interpretability methods can expose model-internal signals along the generation path that could inform enforcement, but these signals are not security controls by themselves. Deployments that adapt them for safety typically couple each signal to its own calibration, policy logic, and intervention code, so each new artifact creates integration work instead of strengthening a shared defense. We present Language Model Security Modules (LMSM), a security framework that adapts the separation behind Linux Security Modules (LSM) to LLM serving. In LMSM, a selected security backend exposes calibrated evidence, a versioned policy evaluates active rules over trusted per-request context, and a separate gate authorizes buffered output release. This design separates mediation correctness from policy effectiveness, and it allows backend, rule, or schedule changes without rebuilding request handling or enforcement. Our prototype shows the separation working in practice: with Hugging Face Transformers and continuously batched vLLM, the same substrate hosts artifact-backed sparse autoencoder (SAE) and transcoder deployments and task-fitted dense probes, preserves request-specific decisions under scheduler churn, and selectively enforces and composes multiple rules per request. On Qwen3-4B, LMSM-Checkpoint reduces HarmBench attack success rate from 39.20% to 3.32%, with XSTest false refusals rising from 2.40% to 4.40%, while retaining 98.14% of the throughput of a matched serving path that performs no monitoring work at 32 active sequences. LMSM gives advances in interpretability and model-internal analysis a common path to runtime enforcement.