Huidige en toekomstige generalisatie van synthetische beeldherkenners

Present and Future Generalization of Synthetic Image Detectors

September 21, 2024

Auteurs: Pablo Bernabeu-Perez, Enrique Lopez-Cuena, Dario Garcia-Gasulla

cs.AI

Samenvatting

De voortdurende uitgave van nieuwe en betere modellen voor beeldgeneratie vergroot de vraag naar synthetische beelddetectoren. In zo'n dynamisch veld moeten detectoren breed kunnen generaliseren en bestand zijn tegen ongecontroleerde wijzigingen. Het huidige werk wordt gemotiveerd door deze context, waarbij gekeken wordt naar de rol van tijd, beeldtransformaties en gegevensbronnen voor de generalisatie van detectoren. In deze experimenten wordt geconstateerd dat geen van de geëvalueerde detectoren universeel is, maar de resultaten geven aan dat een ensemble dat wel zou kunnen zijn. Experimenten met gegevens verzameld in het wild tonen aan dat deze taak uitdagender is dan die gedefinieerd door grootschalige datasets, wat wijst op een kloof tussen experimentatie en daadwerkelijke praktijk. Tot slot observeren we een effect van racialevenwicht, waarbij betere generatoren leiden tot betere detectoren, en vice versa. We veronderstellen dat dit het veld in de richting duwt van een voortdurend nek-aan-nekrace tussen generatoren en detectoren.

English

The continued release of new and better image generation models increases the demand for synthetic image detectors. In such a dynamic field, detectors need to be able to generalize widely and be robust to uncontrolled alterations. The present work is motivated by this setting, when looking at the role of time, image transformations and data sources, for detector generalization. In these experiments, none of the evaluated detectors is found universal, but results indicate an ensemble could be. Experiments on data collected in the wild show this task to be more challenging than the one defined by large-scale datasets, pointing to a gap between experimentation and actual practice. Finally, we observe a race equilibrium effect, where better generators lead to better detectors, and vice versa. We hypothesize this pushes the field towards a perpetually close race between generators and detectors.