VLMs kunnen verspreide trainingspatches aggregeren.

VLMs Can Aggregate Scattered Training Patches

June 4, 2025

Auteurs: Zhanhui Zhou, Lingjie Chen, Chao Yang, Chaochao Lu

cs.AI

Samenvatting

Een manier om risico's in vision-language modellen (VLMs) te beperken, is door gevaarlijke voorbeelden uit hun trainingsdata te verwijderen. Echter, kan zo'n datamoderatie eenvoudig worden omzeild wanneer schadelijke afbeeldingen worden opgesplitst in kleine, onschuldig ogende fragmenten die verspreid zijn over vele trainingsvoorbeelden. VLMs kunnen dan leren om deze fragmenten tijdens de training samen te voegen en schadelijke reacties genereren tijdens de inferentie, zowel vanuit volledige afbeeldingen als tekstreferenties. Bijvoorbeeld, als een VLM getraind wordt op afbeeldingsfragmenten van een bloedige scène die gepaard gaan met de beschrijving "veilig", kan het model later de volledige afbeelding of een tekstreferentie naar de scène beschrijven als "veilig". Wij definiëren de kernvaardigheid van VLMs die deze aanval mogelijk maakt als visuele stitching — het vermogen om visuele informatie die verspreid is over meerdere trainingsvoorbeelden die dezelfde tekstuele beschrijvingen delen, te integreren. In ons werk demonstreren we eerst de visuele stitching-vaardigheden in veelgebruikte open-source VLMs op drie datasets waarbij elke afbeelding is gelabeld met een unieke synthetische ID: we splitsen elk (afbeelding, ID) paar op in {(fragment, ID)} paren op verschillende granulariteiten voor finetuning, en we ontdekken dat afgestemde modellen de correcte ID's kunnen verbaliseren vanuit volledige afbeeldingen of tekstreferenties. Hierop voortbouwend simuleren we het bovengenoemde scenario van adversariële datavergiftiging door fragmenten van gevaarlijke afbeeldingen te gebruiken en de ID's te vervangen door tekstbeschrijvingen zoals "veilig" of "onveilig", waarmee we aantonen hoe schadelijke inhoud moderatie in fragmenten kan omzeilen en later gereconstrueerd kan worden via visuele stitching, wat ernstige veiligheidsrisico's voor VLMs met zich meebrengt. Code is beschikbaar op https://github.com/ZHZisZZ/visual-stitching.

English

One way to mitigate risks in vision-language models (VLMs) is to remove dangerous samples in their training data. However, such data moderation can be easily bypassed when harmful images are split into small, benign-looking patches, scattered across many training samples. VLMs may then learn to piece these fragments together during training and generate harmful responses at inference, either from full images or text references. For instance, if trained on image patches from a bloody scene paired with the descriptions "safe," VLMs may later describe, the full image or a text reference to the scene, as "safe." We define the core ability of VLMs enabling this attack as visual stitching -- the ability to integrate visual information spread across multiple training samples that share the same textual descriptions. In our work, we first demonstrate visual stitching abilities in common open-source VLMs on three datasets where each image is labeled with a unique synthetic ID: we split each (image, ID) pair into {(patch, ID)} pairs at different granularity for finetuning, and we find that tuned models can verbalize the correct IDs from full images or text reference. Building on this, we simulate the adversarial data poisoning scenario mentioned above by using patches from dangerous images and replacing IDs with text descriptions like ``safe'' or ``unsafe'', demonstrating how harmful content can evade moderation in patches and later be reconstructed through visual stitching, posing serious VLM safety risks. Code is available at https://github.com/ZHZisZZ/visual-stitching.