Generalización presente y futura de detectores de imágenes sintéticas

Present and Future Generalization of Synthetic Image Detectors

September 21, 2024

Autores: Pablo Bernabeu-Perez, Enrique Lopez-Cuena, Dario Garcia-Gasulla

cs.AI

Resumen

La continua liberación de modelos de generación de imágenes nuevos y mejores aumenta la demanda de detectores de imágenes sintéticas. En un campo tan dinámico, los detectores necesitan poder generalizar ampliamente y ser robustos ante alteraciones no controladas. El presente trabajo está motivado por este escenario, al observar el papel del tiempo, las transformaciones de imágenes y las fuentes de datos, en la generalización de los detectores. En estos experimentos, ninguno de los detectores evaluados se considera universal, pero los resultados indican que un conjunto podría serlo. Experimentos con datos recopilados en entornos no controlados muestran que esta tarea es más desafiante que la definida por conjuntos de datos a gran escala, señalando una brecha entre la experimentación y la práctica real. Finalmente, observamos un efecto de equilibrio de carrera, donde mejores generadores llevan a mejores detectores, y viceversa. Hipotetizamos que esto empuja al campo hacia una carrera perpetuamente reñida entre generadores y detectores.

English

The continued release of new and better image generation models increases the demand for synthetic image detectors. In such a dynamic field, detectors need to be able to generalize widely and be robust to uncontrolled alterations. The present work is motivated by this setting, when looking at the role of time, image transformations and data sources, for detector generalization. In these experiments, none of the evaluated detectors is found universal, but results indicate an ensemble could be. Experiments on data collected in the wild show this task to be more challenging than the one defined by large-scale datasets, pointing to a gap between experimentation and actual practice. Finally, we observe a race equilibrium effect, where better generators lead to better detectors, and vice versa. We hypothesize this pushes the field towards a perpetually close race between generators and detectors.