Generalização Presente e Futura de Detectores de Imagens Sintéticas

Present and Future Generalization of Synthetic Image Detectors

September 21, 2024

Autores: Pablo Bernabeu-Perez, Enrique Lopez-Cuena, Dario Garcia-Gasulla

cs.AI

Resumo

A contínua divulgação de novos e melhores modelos de geração de imagens aumenta a demanda por detectores de imagens sintéticas. Em um campo tão dinâmico, os detectores precisam ser capazes de generalizar amplamente e ser robustos a alterações não controladas. O presente trabalho é motivado por esse cenário, ao analisar o papel do tempo, transformações de imagem e fontes de dados, para a generalização do detector. Nessas experimentações, nenhum dos detectores avaliados é considerado universal, mas os resultados indicam que um conjunto poderia ser. Experimentos em dados coletados na natureza mostram que essa tarefa é mais desafiadora do que aquela definida por conjuntos de dados em larga escala, apontando para uma lacuna entre experimentação e prática real. Por fim, observamos um efeito de equilíbrio de corrida, onde melhores geradores levam a melhores detectores, e vice-versa. Hipotetizamos que isso empurra o campo em direção a uma corrida perpétua entre geradores e detectores.

English

The continued release of new and better image generation models increases the demand for synthetic image detectors. In such a dynamic field, detectors need to be able to generalize widely and be robust to uncontrolled alterations. The present work is motivated by this setting, when looking at the role of time, image transformations and data sources, for detector generalization. In these experiments, none of the evaluated detectors is found universal, but results indicate an ensemble could be. Experiments on data collected in the wild show this task to be more challenging than the one defined by large-scale datasets, pointing to a gap between experimentation and actual practice. Finally, we observe a race equilibrium effect, where better generators lead to better detectors, and vice versa. We hypothesize this pushes the field towards a perpetually close race between generators and detectors.