Rilevamento Proattivo del Clonaggio Vocale con Filigrana Localizzata

Proactive Detection of Voice Cloning with Localized Watermarking

January 30, 2024

Autori: Robin San Roman, Pierre Fernandez, Alexandre Défossez, Teddy Furon, Tuan Tran, Hady Elsahar

cs.AI

Abstract

Nel campo in rapida evoluzione dei modelli generativi di sintesi vocale, c'è un urgente bisogno di garantire l'autenticità dell'audio contro i rischi del clonaggio vocale. Presentiamo AudioSeal, la prima tecnica di watermarking audio progettata specificamente per il rilevamento localizzato di discorsi generati dall'IA. AudioSeal utilizza un'architettura generatore/rilevatore addestrata congiuntamente con una funzione di perdita di localizzazione per consentire il rilevamento localizzato del watermark fino al livello del campione, e una nuova funzione di perdita percettiva ispirata al mascheramento uditivo, che permette ad AudioSeal di ottenere una migliore impercettibilità. AudioSeal raggiunge prestazioni all'avanguardia in termini di robustezza alle manipolazioni audio reali e di impercettibilità, basate su metriche di valutazione automatiche e umane. Inoltre, AudioSeal è progettato con un rilevatore veloce a passaggio singolo, che supera significativamente i modelli esistenti in velocità - raggiungendo un rilevamento fino a due ordini di grandezza più veloce, rendendolo ideale per applicazioni su larga scala e in tempo reale.

English

In the rapidly evolving field of speech generative models, there is a pressing need to ensure audio authenticity against the risks of voice cloning. We present AudioSeal, the first audio watermarking technique designed specifically for localized detection of AI-generated speech. AudioSeal employs a generator/detector architecture trained jointly with a localization loss to enable localized watermark detection up to the sample level, and a novel perceptual loss inspired by auditory masking, that enables AudioSeal to achieve better imperceptibility. AudioSeal achieves state-of-the-art performance in terms of robustness to real life audio manipulations and imperceptibility based on automatic and human evaluation metrics. Additionally, AudioSeal is designed with a fast, single-pass detector, that significantly surpasses existing models in speed - achieving detection up to two orders of magnitude faster, making it ideal for large-scale and real-time applications.