PRvL: Het kwantificeren van de mogelijkheden en risico's van grote taalmodel(len) voor het redigeren van persoonsgegevens

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

August 7, 2025

Auteurs: Leon Garza, Anantaa Kotal, Aritran Piplai, Lavanya Elluri, Prajit Das, Aman Chadha

cs.AI

Samenvatting

Het redigeren van Persoonlijk Identificeerbare Informatie (PII) uit ongestructureerde tekst is cruciaal voor het waarborgen van gegevensprivacy in gereguleerde domeinen. Terwijl eerdere benaderingen vertrouwden op op regels gebaseerde systemen en domeinspecifieke Named Entity Recognition (NER)-modellen, slagen deze methoden er niet in om zich aan te passen aan verschillende formaten en contexten. Recente vooruitgang in Large Language Models (LLMs) biedt een veelbelovend alternatief, maar het effect van architectuur- en trainingskeuzes op de prestaties van redactie blijft onderbelicht. LLMs hebben sterke prestaties getoond in taken die contextueel taalbegrip vereisen, inclusief het redigeren van PII in vrije tekst. Eerder werk suggereert dat LLMs met de juiste aanpassing effectieve contextuele privacy-leerders kunnen worden. Echter, de gevolgen van architectuur- en trainingskeuzes voor PII-redactie blijven onderbelicht. In dit werk presenteren we een uitgebreide analyse van LLMs als privacy-beschermende PII-redactiesystemen. We evalueren een reeks LLM-architecturen en trainingsstrategieën op hun effectiviteit in PII-redactie. Onze analyse meet de prestaties van redactie, semantisch behoud en PII-lekkage, en vergelijkt deze resultaten met latentie en rekenkundige kosten. De resultaten bieden praktische richtlijnen voor het configureren van LLM-gebaseerde redacteurs die nauwkeurig, efficiënt en privacy-bewust zijn. Om reproduceerbaarheid en implementatie in de praktijk te ondersteunen, brengen we PRvL uit, een open-source suite van fijn afgestemde modellen en evaluatietools voor algemene PII-redactie. PRvL is volledig gebouwd op open-source LLMs en ondersteunt meerdere inferentie-instellingen voor flexibiliteit en naleving. Het is ontworpen om eenvoudig aan te passen te zijn voor verschillende domeinen en volledig operationeel te zijn binnen veilige, zelfbeheerde omgevingen. Dit stelt gegevensbezitters in staat om redacties uit te voeren zonder afhankelijk te zijn van diensten van derden of gevoelige inhoud buiten hun eigen infrastructuur bloot te stellen.

English

Redacting Personally Identifiable Information (PII) from unstructured text is critical for ensuring data privacy in regulated domains. While earlier approaches have relied on rule-based systems and domain-specific Named Entity Recognition (NER) models, these methods fail to generalize across formats and contexts. Recent advances in Large Language Models (LLMs) offer a promising alternative, yet the effect of architectural and training choices on redaction performance remains underexplored. LLMs have demonstrated strong performance in tasks that require contextual language understanding, including the redaction of PII in free-form text. Prior work suggests that with appropriate adaptation, LLMs can become effective contextual privacy learners. However, the consequences of architectural and training choices for PII Redaction remain underexplored. In this work, we present a comprehensive analysis of LLMs as privacy-preserving PII Redaction systems. We evaluate a range of LLM architectures and training strategies for their effectiveness in PII Redaction. Our analysis measures redaction performance, semantic preservation, and PII leakage, and compares these outcomes against latency and computational cost. The results provide practical guidance for configuring LLM-based redactors that are accurate, efficient, and privacy-aware. To support reproducibility and real-world deployment, we release PRvL, an open-source suite of fine-tuned models, and evaluation tools for general-purpose PII Redaction. PRvL is built entirely on open-source LLMs and supports multiple inference settings for flexibility and compliance. It is designed to be easily customized for different domains and fully operable within secure, self-managed environments. This enables data owners to perform redactions without relying on third-party services or exposing sensitive content beyond their own infrastructure.