Les modèles de vision et langage (VLMs) peuvent agréger des fragments d'entraînement dispersés.

VLMs Can Aggregate Scattered Training Patches

June 4, 2025

Auteurs: Zhanhui Zhou, Lingjie Chen, Chao Yang, Chaochao Lu

cs.AI

Résumé

Une manière d'atténuer les risques dans les modèles vision-langage (VLMs) consiste à supprimer les échantillons dangereux de leurs données d'entraînement. Cependant, une telle modération des données peut être facilement contournée lorsque des images nuisibles sont divisées en petits fragments apparemment bénins, dispersés à travers de nombreux échantillons d'entraînement. Les VLMs peuvent alors apprendre à assembler ces fragments pendant l'entraînement et générer des réponses nuisibles lors de l'inférence, que ce soit à partir d'images complètes ou de références textuelles. Par exemple, si un VLM est entraîné sur des fragments d'images d'une scène sanglante associés à la description "sûr", il pourrait par la suite décrire l'image complète ou une référence textuelle à la scène comme "sûre". Nous définissons la capacité centrale des VLMs permettant cette attaque comme le *visual stitching* — la capacité à intégrer des informations visuelles réparties sur plusieurs échantillons d'entraînement partageant les mêmes descriptions textuelles. Dans notre travail, nous démontrons d'abord les capacités de visual stitching dans des VLMs open-source courants sur trois jeux de données où chaque image est étiquetée avec un ID synthétique unique : nous divisons chaque paire (image, ID) en paires {(fragment, ID)} à différentes granularités pour le réglage fin, et nous constatons que les modèles ajustés peuvent verbaliser les ID corrects à partir d'images complètes ou de références textuelles. Sur cette base, nous simulons le scénario d'empoisonnement de données adverses mentionné ci-dessus en utilisant des fragments d'images dangereuses et en remplaçant les ID par des descriptions textuelles comme "sûr" ou "dangereux", démontrant comment un contenu nuisible peut échapper à la modération dans les fragments et être ensuite reconstruit via le visual stitching, posant de sérieux risques pour la sécurité des VLMs. Le code est disponible à l'adresse https://github.com/ZHZisZZ/visual-stitching.

English

One way to mitigate risks in vision-language models (VLMs) is to remove dangerous samples in their training data. However, such data moderation can be easily bypassed when harmful images are split into small, benign-looking patches, scattered across many training samples. VLMs may then learn to piece these fragments together during training and generate harmful responses at inference, either from full images or text references. For instance, if trained on image patches from a bloody scene paired with the descriptions "safe," VLMs may later describe, the full image or a text reference to the scene, as "safe." We define the core ability of VLMs enabling this attack as visual stitching -- the ability to integrate visual information spread across multiple training samples that share the same textual descriptions. In our work, we first demonstrate visual stitching abilities in common open-source VLMs on three datasets where each image is labeled with a unique synthetic ID: we split each (image, ID) pair into {(patch, ID)} pairs at different granularity for finetuning, and we find that tuned models can verbalize the correct IDs from full images or text reference. Building on this, we simulate the adversarial data poisoning scenario mentioned above by using patches from dangerous images and replacing IDs with text descriptions like ``safe'' or ``unsafe'', demonstrating how harmful content can evade moderation in patches and later be reconstructed through visual stitching, posing serious VLM safety risks. Code is available at https://github.com/ZHZisZZ/visual-stitching.