Generalizzazione Presente e Futura dei Rilevatori di Immagini Sintetiche

Present and Future Generalization of Synthetic Image Detectors

September 21, 2024

Autori: Pablo Bernabeu-Perez, Enrique Lopez-Cuena, Dario Garcia-Gasulla

cs.AI

Abstract

Il continuo rilascio di modelli di generazione di immagini sempre nuovi e migliori aumenta la domanda di rilevatori di immagini sintetiche. In un campo così dinamico, i rilevatori devono essere in grado di generalizzare ampiamente e essere robusti alle alterazioni non controllate. Il presente lavoro è motivato da questo contesto, quando si esamina il ruolo del tempo, delle trasformazioni delle immagini e delle fonti di dati, per la generalizzazione del rilevatore. In questi esperimenti, nessuno dei rilevatori valutati è universale, ma i risultati indicano che un insieme potrebbe esserlo. Gli esperimenti sui dati raccolti in condizioni reali mostrano che questa attività è più impegnativa rispetto a quella definita dai dataset su larga scala, evidenziando un divario tra sperimentazione e pratica effettiva. Infine, osserviamo un effetto di equilibrio nella corsa, dove generatori migliori portano a rilevatori migliori, e viceversa. Ipotizziamo che ciò spinga il settore verso una corsa perpetuamente serrata tra generatori e rilevatori.

English

The continued release of new and better image generation models increases the demand for synthetic image detectors. In such a dynamic field, detectors need to be able to generalize widely and be robust to uncontrolled alterations. The present work is motivated by this setting, when looking at the role of time, image transformations and data sources, for detector generalization. In these experiments, none of the evaluated detectors is found universal, but results indicate an ensemble could be. Experiments on data collected in the wild show this task to be more challenging than the one defined by large-scale datasets, pointing to a gap between experimentation and actual practice. Finally, we observe a race equilibrium effect, where better generators lead to better detectors, and vice versa. We hypothesize this pushes the field towards a perpetually close race between generators and detectors.