EmbTracker: Marcas de Agua Rastreables en Caja Negra para Modelos de Lenguaje Federados
EmbTracker: Traceable Black-box Watermarking for Federated Language Models
March 12, 2026
Autores: Haodong Zhao, Jinming Hu, Yijie Bai, Tian Dong, Wei Du, Zhuosheng Zhang, Yanjiao Chen, Haojin Zhu, Gongshen Liu
cs.AI
Resumen
El Modelo de Lenguaje Federado (FedLM) permite un aprendizaje colaborativo sin compartir datos brutos, pero introduce una vulnerabilidad crítica, ya que cada cliente no confiable puede filtrar la instancia del modelo funcional recibida. Los esquemas de marca de agua actuales para FedLM a menudo requieren acceso de caja blanca y cooperación del lado del cliente, proporcionando solo una prueba de propiedad a nivel de grupo en lugar de una trazabilidad individual. Proponemos EmbTracker, un marco de marca de agua trazable de caja negra, específicamente diseñado para FedLMs, que opera desde el lado del servidor. EmbTracker logra la verificabilidad de caja negra mediante la inserción de una marca de agua basada en puerta trasera detectable mediante simples consultas API. La trazabilidad a nivel de cliente se realiza inyectando marcas de agua únicas específicas de identidad en el modelo distribuido a cada cliente. De esta manera, un modelo filtrado puede atribuirse a un culpable específico, garantizando robustez incluso frente a participantes no cooperativos. Experimentos exhaustivos en varios modelos de lenguaje y visión-lenguaje demuestran que EmbTracker logra una trazabilidad robusta con tasas de verificación cercanas al 100%, alta resistencia contra ataques de eliminación (afinamiento, poda, cuantización) y un impacto insignificante en el rendimiento de la tarea principal (generalmente dentro del 1-2%).
English
Federated Language Model (FedLM) allows a collaborative learning without sharing raw data, yet it introduces a critical vulnerability, as every untrustworthy client may leak the received functional model instance. Current watermarking schemes for FedLM often require white-box access and client-side cooperation, providing only group-level proof of ownership rather than individual traceability. We propose EmbTracker, a server-side, traceable black-box watermarking framework specifically designed for FedLMs. EmbTracker achieves black-box verifiability by embedding a backdoor-based watermark detectable through simple API queries. Client-level traceability is realized by injecting unique identity-specific watermarks into the model distributed to each client. In this way, a leaked model can be attributed to a specific culprit, ensuring robustness even against non-cooperative participants. Extensive experiments on various language and vision-language models demonstrate that EmbTracker achieves robust traceability with verification rates near 100\%, high resilience against removal attacks (fine-tuning, pruning, quantization), and negligible impact on primary task performance (typically within 1-2\%).