PRvL: Cuantificación de las Capacidades y Riesgos de los Modelos de Lenguaje de Gran Escala para la Redacción de Información de Identificación Personal (PII)

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

August 7, 2025

Autores: Leon Garza, Anantaa Kotal, Aritran Piplai, Lavanya Elluri, Prajit Das, Aman Chadha

cs.AI

Resumen

La redacción de Información de Identificación Personal (PII, por sus siglas en inglés) en texto no estructurado es fundamental para garantizar la privacidad de los datos en dominios regulados. Si bien los enfoques anteriores se han basado en sistemas basados en reglas y modelos de Reconocimiento de Entidades Nombradas (NER) específicos del dominio, estos métodos no logran generalizarse en diferentes formatos y contextos. Los avances recientes en Modelos de Lenguaje a Gran Escala (LLMs, por sus siglas en inglés) ofrecen una alternativa prometedora, aunque el impacto de las decisiones arquitectónicas y de entrenamiento en el rendimiento de la redacción sigue siendo poco explorado. Los LLMs han demostrado un fuerte desempeño en tareas que requieren comprensión contextual del lenguaje, incluida la redacción de PII en texto de forma libre. Trabajos previos sugieren que, con la adaptación adecuada, los LLMs pueden convertirse en aprendices efectivos de privacidad contextual. Sin embargo, las consecuencias de las decisiones arquitectónicas y de entrenamiento para la Redacción de PII aún no se han explorado suficientemente. En este trabajo, presentamos un análisis exhaustivo de los LLMs como sistemas de Redacción de PII que preservan la privacidad. Evaluamos una variedad de arquitecturas de LLMs y estrategias de entrenamiento para determinar su efectividad en la Redacción de PII. Nuestro análisis mide el rendimiento de la redacción, la preservación semántica y la filtración de PII, y compara estos resultados con la latencia y el costo computacional. Los resultados proporcionan orientación práctica para configurar redactores basados en LLMs que sean precisos, eficientes y conscientes de la privacidad. Para apoyar la reproducibilidad y la implementación en el mundo real, lanzamos PRvL, un conjunto de modelos ajustados y herramientas de evaluación de código abierto para la Redacción de PII de propósito general. PRvL está construido completamente sobre LLMs de código abierto y admite múltiples configuraciones de inferencia para flexibilidad y cumplimiento. Está diseñado para ser fácilmente personalizable para diferentes dominios y completamente operable en entornos seguros y autogestionados. Esto permite a los propietarios de datos realizar redacciones sin depender de servicios de terceros o exponer contenido sensible más allá de su propia infraestructura.

English

Redacting Personally Identifiable Information (PII) from unstructured text is critical for ensuring data privacy in regulated domains. While earlier approaches have relied on rule-based systems and domain-specific Named Entity Recognition (NER) models, these methods fail to generalize across formats and contexts. Recent advances in Large Language Models (LLMs) offer a promising alternative, yet the effect of architectural and training choices on redaction performance remains underexplored. LLMs have demonstrated strong performance in tasks that require contextual language understanding, including the redaction of PII in free-form text. Prior work suggests that with appropriate adaptation, LLMs can become effective contextual privacy learners. However, the consequences of architectural and training choices for PII Redaction remain underexplored. In this work, we present a comprehensive analysis of LLMs as privacy-preserving PII Redaction systems. We evaluate a range of LLM architectures and training strategies for their effectiveness in PII Redaction. Our analysis measures redaction performance, semantic preservation, and PII leakage, and compares these outcomes against latency and computational cost. The results provide practical guidance for configuring LLM-based redactors that are accurate, efficient, and privacy-aware. To support reproducibility and real-world deployment, we release PRvL, an open-source suite of fine-tuned models, and evaluation tools for general-purpose PII Redaction. PRvL is built entirely on open-source LLMs and supports multiple inference settings for flexibility and compliance. It is designed to be easily customized for different domains and fully operable within secure, self-managed environments. This enables data owners to perform redactions without relying on third-party services or exposing sensitive content beyond their own infrastructure.