PRvL: Quantificazione delle Capacità e dei Rischi dei Modelli Linguistici di Grande Scala per la Redazione delle Informazioni Personali Identificabili

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

August 7, 2025

Autori: Leon Garza, Anantaa Kotal, Aritran Piplai, Lavanya Elluri, Prajit Das, Aman Chadha

cs.AI

Abstract

La redazione delle Informazioni Personali Identificabili (PII) da testi non strutturati è fondamentale per garantire la privacy dei dati in ambiti regolamentati. Mentre approcci precedenti si sono basati su sistemi basati su regole e modelli di Riconoscimento di Entità Nominate (NER) specifici per dominio, questi metodi non riescono a generalizzare tra formati e contesti. I recenti progressi nei Modelli Linguistici di Grande Dimensione (LLM) offrono un'alternativa promettente, ma l'effetto delle scelte architetturali e di addestramento sulle prestazioni di redazione rimane poco esplorato. Gli LLM hanno dimostrato forti prestazioni in compiti che richiedono una comprensione contestuale del linguaggio, inclusa la redazione delle PII in testi liberi. Studi precedenti suggeriscono che, con un adattamento appropriato, gli LLM possono diventare efficaci apprenditori contestuali della privacy. Tuttavia, le conseguenze delle scelte architetturali e di addestramento per la Redazione delle PII rimangono poco esplorate. In questo lavoro, presentiamo un'analisi completa degli LLM come sistemi di Redazione delle PII che preservano la privacy. Valutiamo una gamma di architetture LLM e strategie di addestramento per la loro efficacia nella Redazione delle PII. La nostra analisi misura le prestazioni di redazione, la preservazione semantica e la fuoriuscita di PII, e confronta questi risultati con la latenza e il costo computazionale. I risultati forniscono indicazioni pratiche per configurare redattori basati su LLM che siano accurati, efficienti e consapevoli della privacy. Per supportare la riproducibilità e il dispiegamento nel mondo reale, rilasciamo PRvL, una suite open-source di modelli fine-tuned e strumenti di valutazione per la Redazione delle PII a scopo generale. PRvL è interamente costruito su LLM open-source e supporta molteplici impostazioni di inferenza per flessibilità e conformità. È progettato per essere facilmente personalizzabile per diversi domini e completamente operabile all'interno di ambienti sicuri e autogestiti. Ciò consente ai proprietari dei dati di eseguire redazioni senza fare affidamento su servizi di terze parti o esporre contenuti sensibili al di fuori della propria infrastruttura.

English

Redacting Personally Identifiable Information (PII) from unstructured text is critical for ensuring data privacy in regulated domains. While earlier approaches have relied on rule-based systems and domain-specific Named Entity Recognition (NER) models, these methods fail to generalize across formats and contexts. Recent advances in Large Language Models (LLMs) offer a promising alternative, yet the effect of architectural and training choices on redaction performance remains underexplored. LLMs have demonstrated strong performance in tasks that require contextual language understanding, including the redaction of PII in free-form text. Prior work suggests that with appropriate adaptation, LLMs can become effective contextual privacy learners. However, the consequences of architectural and training choices for PII Redaction remain underexplored. In this work, we present a comprehensive analysis of LLMs as privacy-preserving PII Redaction systems. We evaluate a range of LLM architectures and training strategies for their effectiveness in PII Redaction. Our analysis measures redaction performance, semantic preservation, and PII leakage, and compares these outcomes against latency and computational cost. The results provide practical guidance for configuring LLM-based redactors that are accurate, efficient, and privacy-aware. To support reproducibility and real-world deployment, we release PRvL, an open-source suite of fine-tuned models, and evaluation tools for general-purpose PII Redaction. PRvL is built entirely on open-source LLMs and supports multiple inference settings for flexibility and compliance. It is designed to be easily customized for different domains and fully operable within secure, self-managed environments. This enables data owners to perform redactions without relying on third-party services or exposing sensitive content beyond their own infrastructure.