VLMs können verstreute Trainings-Patches aggregieren.

VLMs Can Aggregate Scattered Training Patches

June 4, 2025

Autoren: Zhanhui Zhou, Lingjie Chen, Chao Yang, Chaochao Lu

cs.AI

Zusammenfassung

Eine Möglichkeit, Risiken in Vision-Language-Modellen (VLMs) zu mindern, besteht darin, gefährliche Beispiele aus ihren Trainingsdaten zu entfernen. Eine solche Datenmoderation kann jedoch leicht umgangen werden, wenn schädliche Bilder in kleine, harmlos aussehende Teile aufgeteilt und über viele Trainingsbeispiele verteilt werden. VLMs können dann lernen, diese Fragmente während des Trainings zusammenzusetzen und bei der Inferenz schädliche Antworten zu generieren, sei es aus vollständigen Bildern oder Textreferenzen. Wenn beispielsweise Bildteile aus einer blutigen Szene mit der Beschreibung „sicher“ gepaart trainiert werden, könnten VLMs später das vollständige Bild oder eine Textreferenz auf die Szene als „sicher“ beschreiben. Wir definieren die Kernfähigkeit von VLMs, die diesen Angriff ermöglicht, als visuelles Zusammensetzen (visual stitching) – die Fähigkeit, visuelle Informationen zu integrieren, die über mehrere Trainingsbeispiele verteilt sind, die dieselben Textbeschreibungen teilen. In unserer Arbeit demonstrieren wir zunächst die Fähigkeit des visuellen Zusammensetzens in gängigen Open-Source-VLMs anhand von drei Datensätzen, bei denen jedes Bild mit einer eindeutigen synthetischen ID versehen ist: Wir teilen jedes (Bild, ID)-Paar in {(Teilbild, ID)}-Paare mit unterschiedlicher Granularität für das Feinabstimmen auf und stellen fest, dass die abgestimmten Modelle die korrekten IDs aus vollständigen Bildern oder Textreferenzen verbalisieren können. Darauf aufbauend simulieren wir das oben erwähnte Szenario der adversarischen Datenvergiftung, indem wir Teile aus gefährlichen Bildern verwenden und die IDs durch Textbeschreibungen wie „sicher“ oder „unsicher“ ersetzen. Dadurch zeigen wir, wie schädliche Inhalte die Moderation in Teilbildern umgehen und später durch visuelles Zusammensetzen rekonstruiert werden können, was ernsthafte Sicherheitsrisiken für VLMs darstellt. Der Code ist verfügbar unter https://github.com/ZHZisZZ/visual-stitching.

English

One way to mitigate risks in vision-language models (VLMs) is to remove dangerous samples in their training data. However, such data moderation can be easily bypassed when harmful images are split into small, benign-looking patches, scattered across many training samples. VLMs may then learn to piece these fragments together during training and generate harmful responses at inference, either from full images or text references. For instance, if trained on image patches from a bloody scene paired with the descriptions "safe," VLMs may later describe, the full image or a text reference to the scene, as "safe." We define the core ability of VLMs enabling this attack as visual stitching -- the ability to integrate visual information spread across multiple training samples that share the same textual descriptions. In our work, we first demonstrate visual stitching abilities in common open-source VLMs on three datasets where each image is labeled with a unique synthetic ID: we split each (image, ID) pair into {(patch, ID)} pairs at different granularity for finetuning, and we find that tuned models can verbalize the correct IDs from full images or text reference. Building on this, we simulate the adversarial data poisoning scenario mentioned above by using patches from dangerous images and replacing IDs with text descriptions like ``safe'' or ``unsafe'', demonstrating how harmful content can evade moderation in patches and later be reconstructed through visual stitching, posing serious VLM safety risks. Code is available at https://github.com/ZHZisZZ/visual-stitching.