Camouflage-aanval in de praktijk op voertuigdetectoren via bewerkbare beeldbewerking

In-the-Wild Camouflage Attack on Vehicle Detectors through Controllable Image Editing

March 19, 2026

Auteurs: Xiao Fang, Yiming Gong, Stanislav Panev, Celso de Melo, Shuowen Hu, Shayok Chakraborty, Fernando De la Torre

cs.AI

Samenvatting

Diepe neurale netwerken (DNN's) hebben opmerkelijke successen geboekt in computervisie, maar blijven zeer kwetsbaar voor adversariële aanvallen. Daaronder manipuleren camouflage-aanvallen de zichtbare verschijning van een object om detectoren te misleiden, terwijl ze voor mensen onopgemerkt blijven. In dit artikel stellen we een nieuw raamwerk voor dat voertuigcamouflage-aanvallen formuleert als een conditioneel beeldbewerkingsprobleem. Concreet onderzoeken we zowel beeldniveau- als scèneniveau-strategieën voor camouflagegeneratie, en fine-tunen we een ControlNet om gecamoufleerde voertuigen direct op echte afbeeldingen te synthetiseren. We ontwerpen een uniforme doelstelling die tegelijkertijd voertuigstructurele trouw, stijlconsistentie en adversariële effectiviteit afdwingt. Uitgebreide experimenten op de COCO- en LINZ-datasets tonen aan dat onze methode een aanzienlijk sterkere aanvalseffectiviteit bereikt, wat leidt tot een daling van meer dan 38% AP50, terwijl de voertuigstructuur beter behouden blijft en de door mensen waargenomen onopvallendheid verbetert in vergelijking met bestaande benaderingen. Bovendien generaliseert ons raamwerk effectief naar onzichtbare black-box-detectoren en vertoont het veelbelovende overdraagbaarheid naar de fysieke wereld. De projectpagina is beschikbaar op https://humansensinglab.github.io/CtrlCamo.

English

Deep neural networks (DNNs) have achieved remarkable success in computer vision but remain highly vulnerable to adversarial attacks. Among them, camouflage attacks manipulate an object's visible appearance to deceive detectors while remaining stealthy to humans. In this paper, we propose a new framework that formulates vehicle camouflage attacks as a conditional image-editing problem. Specifically, we explore both image-level and scene-level camouflage generation strategies, and fine-tune a ControlNet to synthesize camouflaged vehicles directly on real images. We design a unified objective that jointly enforces vehicle structural fidelity, style consistency, and adversarial effectiveness. Extensive experiments on the COCO and LINZ datasets show that our method achieves significantly stronger attack effectiveness, leading to more than 38% AP50 decrease, while better preserving vehicle structure and improving human-perceived stealthiness compared to existing approaches. Furthermore, our framework generalizes effectively to unseen black-box detectors and exhibits promising transferability to the physical world. Project page is available at https://humansensinglab.github.io/CtrlCamo