実世界における制御可能な画像編集による車両検出器へのカモフラージュ攻撃

要旨

深層ニューラルネットワーク（DNN）はコンピュータビジョンにおいて顕著な成功を収めているが、敵対的攻撃に対して依然として極めて脆弱である。中でも、カモフラージュ攻撃は物体の視覚的外観を操作し、検出器を欺く一方で人間には目立たないようにする手法である。本論文では、車両カモフラージュ攻撃を条件付き画像編集問題として定式化する新たなフレームワークを提案する。具体的には、画像レベルとシーンレベルの両方のカモフラージュ生成戦略を探求し、ControlNetをファインチューニングして実画像上に直接カモフラージュ車両を合成する。車両の構造的忠実度、スタイル一貫性、敵対的有效性を同時に強化する統合目的関数を設計した。COCOおよびLINZデータセットを用いた大規模な実験により、本手法は既存手法と比較して、車両構造をより良く保持し、人間の知覚におけるステルス性を向上させつつ、38%以上のAP50低下をもたらす、有意に強力な攻撃効果を達成することが示された。さらに、本フレームワークは未学習のブラックボックス検出器に対しても効果的に一般化し、物理世界への有望な転移性を示す。プロジェクトページはhttps://humansensinglab.github.io/CtrlCamo で公開されている。

English

Deep neural networks (DNNs) have achieved remarkable success in computer vision but remain highly vulnerable to adversarial attacks. Among them, camouflage attacks manipulate an object's visible appearance to deceive detectors while remaining stealthy to humans. In this paper, we propose a new framework that formulates vehicle camouflage attacks as a conditional image-editing problem. Specifically, we explore both image-level and scene-level camouflage generation strategies, and fine-tune a ControlNet to synthesize camouflaged vehicles directly on real images. We design a unified objective that jointly enforces vehicle structural fidelity, style consistency, and adversarial effectiveness. Extensive experiments on the COCO and LINZ datasets show that our method achieves significantly stronger attack effectiveness, leading to more than 38% AP50 decrease, while better preserving vehicle structure and improving human-perceived stealthiness compared to existing approaches. Furthermore, our framework generalizes effectively to unseen black-box detectors and exhibits promising transferability to the physical world. Project page is available at https://humansensinglab.github.io/CtrlCamo

実世界における制御可能な画像編集による車両検出器へのカモフラージュ攻撃

In-the-Wild Camouflage Attack on Vehicle Detectors through Controllable Image Editing

要旨

Support