VLMs способны агрегировать разрозненные обучающие патчи.

VLMs Can Aggregate Scattered Training Patches

June 4, 2025

Авторы: Zhanhui Zhou, Lingjie Chen, Chao Yang, Chaochao Lu

cs.AI

Аннотация

Один из способов снижения рисков в моделях, объединяющих зрение и язык (VLMs), заключается в удалении опасных образцов из их обучающих данных. Однако такая модерация данных может быть легко обойдена, если вредоносные изображения разделены на небольшие, безобидные на вид фрагменты, распределенные по множеству обучающих образцов. В этом случае VLMs могут научиться собирать эти фрагменты в процессе обучения и генерировать вредоносные ответы на этапе вывода, будь то из полных изображений или текстовых ссылок. Например, если модель обучается на фрагментах изображения кровавой сцены, сопоставленных с описанием "безопасно", она может впоследствии описать полное изображение или текстовую ссылку на эту сцену как "безопасно". Мы определяем ключевую способность VLMs, делающую возможной такую атаку, как визуальное сшивание — способность интегрировать визуальную информацию, распределенную по нескольким обучающим образцам, которые имеют одинаковые текстовые описания. В нашей работе мы сначала демонстрируем способность к визуальному сшиванию в распространенных открытых VLMs на трех наборах данных, где каждое изображение помечено уникальным синтетическим идентификатором (ID): мы разделяем каждую пару (изображение, ID) на пары {(фрагмент, ID)} с разной степенью детализации для дообучения и обнаруживаем, что дообученные модели могут вербализовать правильные ID из полных изображений или текстовых ссылок. На основе этого мы моделируем сценарий вредоносного отравления данных, упомянутый выше, используя фрагменты опасных изображений и заменяя ID текстовыми описаниями, такими как "безопасно" или "опасно", демонстрируя, как вредоносный контент может избежать модерации в виде фрагментов и впоследствии быть восстановлен через визуальное сшивание, создавая серьезные риски для безопасности VLMs. Код доступен по адресу https://github.com/ZHZisZZ/visual-stitching.

English

One way to mitigate risks in vision-language models (VLMs) is to remove dangerous samples in their training data. However, such data moderation can be easily bypassed when harmful images are split into small, benign-looking patches, scattered across many training samples. VLMs may then learn to piece these fragments together during training and generate harmful responses at inference, either from full images or text references. For instance, if trained on image patches from a bloody scene paired with the descriptions "safe," VLMs may later describe, the full image or a text reference to the scene, as "safe." We define the core ability of VLMs enabling this attack as visual stitching -- the ability to integrate visual information spread across multiple training samples that share the same textual descriptions. In our work, we first demonstrate visual stitching abilities in common open-source VLMs on three datasets where each image is labeled with a unique synthetic ID: we split each (image, ID) pair into {(patch, ID)} pairs at different granularity for finetuning, and we find that tuned models can verbalize the correct IDs from full images or text reference. Building on this, we simulate the adversarial data poisoning scenario mentioned above by using patches from dangerous images and replacing IDs with text descriptions like ``safe'' or ``unsafe'', demonstrating how harmful content can evade moderation in patches and later be reconstructed through visual stitching, posing serious VLM safety risks. Code is available at https://github.com/ZHZisZZ/visual-stitching.