PRvL: Quantifizierung der Fähigkeiten und Risiken großer Sprachmodelle für die Redaktion von personenbezogenen Daten

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

August 7, 2025

papers.authors: Leon Garza, Anantaa Kotal, Aritran Piplai, Lavanya Elluri, Prajit Das, Aman Chadha

cs.AI

papers.abstract

Die Redaktion von personenbezogenen Informationen (PII) aus unstrukturiertem Text ist entscheidend, um den Datenschutz in regulierten Bereichen zu gewährleisten. Während frühere Ansätze auf regelbasierte Systeme und domänenspezifische Named Entity Recognition (NER)-Modelle setzten, scheitern diese Methoden daran, sich über verschiedene Formate und Kontexte hinweg zu verallgemeinern. Jüngste Fortschritte bei Large Language Models (LLMs) bieten eine vielversprechende Alternative, doch die Auswirkungen von Architektur- und Trainingsentscheidungen auf die Redaktionsleistung bleiben weitgehend unerforscht. LLMs haben eine starke Leistung bei Aufgaben gezeigt, die ein kontextuelles Sprachverständnis erfordern, einschließlich der Redaktion von PII in freiformuliertem Text. Frühere Arbeiten deuten darauf hin, dass LLMs mit entsprechender Anpassung effektive kontextuelle Datenschutzlerner werden können. Dennoch sind die Konsequenzen von Architektur- und Trainingsentscheidungen für die PII-Redaktion noch nicht ausreichend untersucht. In dieser Arbeit präsentieren wir eine umfassende Analyse von LLMs als datenschutzbewusste PII-Redaktionssysteme. Wir bewerten eine Reihe von LLM-Architekturen und Trainingsstrategien hinsichtlich ihrer Effektivität bei der PII-Redaktion. Unsere Analyse misst die Redaktionsleistung, die semantische Erhaltung und das PII-Leckage und vergleicht diese Ergebnisse mit Latenz und Rechenkosten. Die Ergebnisse bieten praktische Leitlinien für die Konfiguration von LLM-basierten Redaktoren, die präzise, effizient und datenschutzbewusst sind. Um Reproduzierbarkeit und den Einsatz in der Praxis zu unterstützen, veröffentlichen wir PRvL, eine Open-Source-Suite von feinabgestimmten Modellen und Evaluierungswerkzeugen für die allgemeine PII-Redaktion. PRvL basiert vollständig auf Open-Source-LLMs und unterstützt mehrere Inferenz-Einstellungen für Flexibilität und Compliance. Es ist so konzipiert, dass es leicht für verschiedene Domänen angepasst und vollständig in sicheren, selbstverwalteten Umgebungen betrieben werden kann. Dies ermöglicht es Datenbesitzern, Redaktionen durchzuführen, ohne auf Drittanbieterdienste angewiesen zu sein oder sensible Inhalte über ihre eigene Infrastruktur hinaus preiszugeben.

English

Redacting Personally Identifiable Information (PII) from unstructured text is critical for ensuring data privacy in regulated domains. While earlier approaches have relied on rule-based systems and domain-specific Named Entity Recognition (NER) models, these methods fail to generalize across formats and contexts. Recent advances in Large Language Models (LLMs) offer a promising alternative, yet the effect of architectural and training choices on redaction performance remains underexplored. LLMs have demonstrated strong performance in tasks that require contextual language understanding, including the redaction of PII in free-form text. Prior work suggests that with appropriate adaptation, LLMs can become effective contextual privacy learners. However, the consequences of architectural and training choices for PII Redaction remain underexplored. In this work, we present a comprehensive analysis of LLMs as privacy-preserving PII Redaction systems. We evaluate a range of LLM architectures and training strategies for their effectiveness in PII Redaction. Our analysis measures redaction performance, semantic preservation, and PII leakage, and compares these outcomes against latency and computational cost. The results provide practical guidance for configuring LLM-based redactors that are accurate, efficient, and privacy-aware. To support reproducibility and real-world deployment, we release PRvL, an open-source suite of fine-tuned models, and evaluation tools for general-purpose PII Redaction. PRvL is built entirely on open-source LLMs and supports multiple inference settings for flexibility and compliance. It is designed to be easily customized for different domains and fully operable within secure, self-managed environments. This enables data owners to perform redactions without relying on third-party services or exposing sensitive content beyond their own infrastructure.