Aktuelle und zukünftige Verallgemeinerung von synthetischen Bilderkennungssystemen

Present and Future Generalization of Synthetic Image Detectors

September 21, 2024

Autoren: Pablo Bernabeu-Perez, Enrique Lopez-Cuena, Dario Garcia-Gasulla

cs.AI

Zusammenfassung

Die kontinuierliche Veröffentlichung neuer und besserer Bildgenerierungsmodelle erhöht die Nachfrage nach synthetischen Bilderkennungssystemen. In einem so dynamischen Bereich müssen die Detektoren in der Lage sein, weitreichend zu generalisieren und robust gegen unkontrollierte Veränderungen zu sein. Die vorliegende Arbeit wird von dieser Situation motiviert, wenn man die Rolle von Zeit, Bildtransformationen und Datenquellen für die Generalisierung von Detektoren betrachtet. In diesen Experimenten wurde festgestellt, dass keiner der bewerteten Detektoren universell ist, aber die Ergebnisse deuten darauf hin, dass ein Ensemble dies sein könnte. Experimente mit in freier Wildbahn gesammelten Daten zeigen, dass diese Aufgabe herausfordernder ist als die von groß angelegten Datensätzen definierte, was auf eine Kluft zwischen Experiment und tatsächlicher Praxis hinweist. Schließlich beobachten wir einen Gleichgewichtseffekt im Wettlauf, bei dem bessere Generatoren zu besseren Detektoren führen und umgekehrt. Wir vermuten, dass dies das Feld zu einem dauerhaften Wettlauf zwischen Generatoren und Detektoren treibt.

English

The continued release of new and better image generation models increases the demand for synthetic image detectors. In such a dynamic field, detectors need to be able to generalize widely and be robust to uncontrolled alterations. The present work is motivated by this setting, when looking at the role of time, image transformations and data sources, for detector generalization. In these experiments, none of the evaluated detectors is found universal, but results indicate an ensemble could be. Experiments on data collected in the wild show this task to be more challenging than the one defined by large-scale datasets, pointing to a gap between experimentation and actual practice. Finally, we observe a race equilibrium effect, where better generators lead to better detectors, and vice versa. We hypothesize this pushes the field towards a perpetually close race between generators and detectors.