Контролируемая генерация для создания приватного синтетического текста
Controlled Generation for Private Synthetic Text
September 30, 2025
Авторы: Zihao Zhao, Anjalie Field
cs.AI
Аннотация
Анонимизация текста имеет решающее значение для ответственной разработки и внедрения ИИ в высокорисковых областях, таких как здравоохранение, социальные услуги и право. В данной работе мы предлагаем новую методологию для генерации синтетического текста с сохранением конфиденциальности, которая основывается на принципах деидентификации и теории "Скрытия на виду" (Hiding In Plain Sight, HIPS). Наш подход вводит управляющие коды, учитывающие сущности, для направленной генерации с использованием либо обучения в контексте (in-context learning, ICL), либо настройки префиксов. Вариант с ICL обеспечивает уровень конфиденциальности, соответствующий базовой системе деидентификации, в то время как вариант с настройкой префиксов включает пользовательскую стратегию маскирования и функцию потерь для поддержки масштабируемой и качественной генерации. Эксперименты на юридических и клинических наборах данных демонстрируют, что наш метод достигает оптимального баланса между защитой конфиденциальности и полезностью, предлагая практичное и эффективное решение для генерации синтетического текста в чувствительных областях.
English
Text anonymization is essential for responsibly developing and deploying AI
in high-stakes domains such as healthcare, social services, and law. In this
work, we propose a novel methodology for privacy-preserving synthetic text
generation that leverages the principles of de-identification and the Hiding In
Plain Sight (HIPS) theory. Our approach introduces entity-aware control codes
to guide controllable generation using either in-context learning (ICL) or
prefix tuning. The ICL variant ensures privacy levels consistent with the
underlying de-identification system, while the prefix tuning variant
incorporates a custom masking strategy and loss function to support scalable,
high-quality generation. Experiments on legal and clinical datasets demonstrate
that our method achieves a strong balance between privacy protection and
utility, offering a practical and effective solution for synthetic text
generation in sensitive domains.