Détection proactive du clonage vocal par tatouage localisé

Proactive Detection of Voice Cloning with Localized Watermarking

January 30, 2024

Auteurs: Robin San Roman, Pierre Fernandez, Alexandre Défossez, Teddy Furon, Tuan Tran, Hady Elsahar

cs.AI

Résumé

Dans le domaine en rapide évolution des modèles génératifs de parole, il est urgent de garantir l'authenticité audio face aux risques de clonage vocal. Nous présentons AudioSeal, la première technique de tatouage audio conçue spécifiquement pour la détection localisée de la parole générée par IA. AudioSeal utilise une architecture générateur/détecteur entraînée conjointement avec une fonction de perte de localisation pour permettre une détection localisée du tatouage jusqu'au niveau de l'échantillon, ainsi qu'une nouvelle fonction de perte perceptuelle inspirée du masquage auditif, qui permet à AudioSeal d'atteindre une meilleure imperceptibilité. AudioSeal obtient des performances de pointe en termes de robustesse aux manipulations audio réelles et d'imperceptibilité, basées sur des métriques d'évaluation automatiques et humaines. De plus, AudioSeal est conçu avec un détecteur rapide et en une seule passe, surpassant significativement les modèles existants en vitesse - atteignant une détection jusqu'à deux ordres de grandeur plus rapide, ce qui le rend idéal pour les applications à grande échelle et en temps réel.

English

In the rapidly evolving field of speech generative models, there is a pressing need to ensure audio authenticity against the risks of voice cloning. We present AudioSeal, the first audio watermarking technique designed specifically for localized detection of AI-generated speech. AudioSeal employs a generator/detector architecture trained jointly with a localization loss to enable localized watermark detection up to the sample level, and a novel perceptual loss inspired by auditory masking, that enables AudioSeal to achieve better imperceptibility. AudioSeal achieves state-of-the-art performance in terms of robustness to real life audio manipulations and imperceptibility based on automatic and human evaluation metrics. Additionally, AudioSeal is designed with a fast, single-pass detector, that significantly surpasses existing models in speed - achieving detection up to two orders of magnitude faster, making it ideal for large-scale and real-time applications.