PRvL: 개인식별정보(PII) 편집을 위한 대형 언어 모델의 능력과 위험성 정량화

초록

비정형 텍스트에서 개인 식별 정보(PII)를 편집하는 것은 규제된 분야에서 데이터 프라이버시를 보장하기 위해 매우 중요합니다. 초기 접근 방식은 규칙 기반 시스템과 도메인 특화된 명명된 개체 인식(NER) 모델에 의존해 왔으나, 이러한 방법들은 다양한 형식과 맥락에 걸쳐 일반화되지 못하는 한계가 있습니다. 최근 대형 언어 모델(LLMs)의 발전은 유망한 대안을 제공하지만, 아키텍처와 학습 선택이 편집 성능에 미치는 영향은 아직 충분히 탐구되지 않았습니다. LLMs는 자유 형식 텍스트에서 PII를 편집하는 것을 포함하여 맥락적 언어 이해가 필요한 작업에서 강력한 성능을 보여 왔습니다. 선행 연구는 적절한 적응을 통해 LLMs가 효과적인 맥락적 프라이버시 학습자가 될 수 있음을 시사합니다. 그러나 PII 편집을 위한 아키텍처와 학습 선택의 결과는 아직 충분히 탐구되지 않았습니다. 본 연구에서는 프라이버시 보호 PII 편집 시스템으로서의 LLMs에 대한 포괄적인 분석을 제시합니다. 우리는 다양한 LLM 아키텍처와 학습 전략이 PII 편집에서의 효과성을 평가합니다. 우리의 분석은 편집 성능, 의미 보존, PII 누출을 측정하고, 이러한 결과를 지연 시간과 계산 비용과 비교합니다. 결과는 정확하고 효율적이며 프라이버시를 고려한 LLM 기반 편집기를 구성하기 위한 실용적인 지침을 제공합니다. 재현성과 실제 배포를 지원하기 위해, 우리는 일반 목적 PII 편집을 위한 미세 조정된 모델과 평가 도구의 오픈소스 제품군인 PRvL을 공개합니다. PRvL은 전적으로 오픈소스 LLMs를 기반으로 구축되었으며 유연성과 규정 준수를 위해 여러 추론 설정을 지원합니다. 이는 다양한 도메인에 맞게 쉽게 사용자 정의할 수 있도록 설계되었으며, 안전한 자체 관리 환경 내에서 완전히 운영 가능합니다. 이를 통해 데이터 소유자는 제3자 서비스에 의존하거나 자신의 인프라를 넘어 민감한 콘텐츠를 노출하지 않고도 편집 작업을 수행할 수 있습니다.

English

Redacting Personally Identifiable Information (PII) from unstructured text is critical for ensuring data privacy in regulated domains. While earlier approaches have relied on rule-based systems and domain-specific Named Entity Recognition (NER) models, these methods fail to generalize across formats and contexts. Recent advances in Large Language Models (LLMs) offer a promising alternative, yet the effect of architectural and training choices on redaction performance remains underexplored. LLMs have demonstrated strong performance in tasks that require contextual language understanding, including the redaction of PII in free-form text. Prior work suggests that with appropriate adaptation, LLMs can become effective contextual privacy learners. However, the consequences of architectural and training choices for PII Redaction remain underexplored. In this work, we present a comprehensive analysis of LLMs as privacy-preserving PII Redaction systems. We evaluate a range of LLM architectures and training strategies for their effectiveness in PII Redaction. Our analysis measures redaction performance, semantic preservation, and PII leakage, and compares these outcomes against latency and computational cost. The results provide practical guidance for configuring LLM-based redactors that are accurate, efficient, and privacy-aware. To support reproducibility and real-world deployment, we release PRvL, an open-source suite of fine-tuned models, and evaluation tools for general-purpose PII Redaction. PRvL is built entirely on open-source LLMs and supports multiple inference settings for flexibility and compliance. It is designed to be easily customized for different domains and fully operable within secure, self-managed environments. This enables data owners to perform redactions without relying on third-party services or exposing sensitive content beyond their own infrastructure.

PRvL: 개인식별정보(PII) 편집을 위한 대형 언어 모델의 능력과 위험성 정량화

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

초록

Support