Adversariële Videopromotie tegen Tekst-naar-Video Retrieval

Adversarial Video Promotion Against Text-to-Video Retrieval

August 9, 2025

Auteurs: Qiwei Tian, Chenhao Lin, Zhengyu Zhao, Qian Li, Shuai Liu, Chao Shen

cs.AI

Samenvatting

Dankzij de ontwikkeling van cross-modale modellen maakt tekst-naar-video-retrieval (T2VR) een snelle vooruitgang, maar de robuustheid ervan blijft grotendeels ononderzocht. Bestaande aanvallen tegen T2VR zijn ontworpen om video's weg te duwen van zoekopdrachten, d.w.z. het onderdrukken van de rangschikking van video's, terwijl aanvallen die video's naar geselecteerde zoekopdrachten trekken, d.w.z. het bevorderen van de rangschikking van video's, grotendeels onontgonnen blijven. Deze aanvallen kunnen impactvoller zijn omdat aanvallers meer views/klikken kunnen verkrijgen voor financiële voordelen en wijdverspreide (mis)informatie. Daarom introduceren wij de eerste aanval tegen T2VR om video's op een adversariale manier te promoten, genaamd de Video Promotion-aanval (ViPro). We stellen verder Modal Refinement (MoRe) voor om de fijnmazige, ingewikkelde interactie tussen visuele en tekstuele modaliteiten vast te leggen om de black-box overdraagbaarheid te verbeteren. Uitgebreide experimenten omvatten 2 bestaande baselines, 3 toonaangevende T2VR-modellen, 3 gangbare datasets met meer dan 10k video's, geëvalueerd onder 3 scenario's. Alle experimenten worden uitgevoerd in een multi-target setting om realistische scenario's weer te geven waarin aanvallers ernaar streven de video te promoten met betrekking tot meerdere zoekopdrachten tegelijkertijd. We hebben onze aanvallen ook geëvalueerd voor verdedigingen en onmerkbaarheid. Over het algemeen overtreft ViPro andere baselines met meer dan 30/10/4% voor white/grey/black-box settings gemiddeld. Ons werk belicht een over het hoofd gezien kwetsbaarheid, biedt een kwalitatieve analyse van de boven/ondergrens van onze aanvallen, en geeft inzicht in mogelijke tegenmaatregelen. Code zal publiekelijk beschikbaar zijn op https://github.com/michaeltian108/ViPro.

English

Thanks to the development of cross-modal models, text-to-video retrieval (T2VR) is advancing rapidly, but its robustness remains largely unexamined. Existing attacks against T2VR are designed to push videos away from queries, i.e., suppressing the ranks of videos, while the attacks that pull videos towards selected queries, i.e., promoting the ranks of videos, remain largely unexplored. These attacks can be more impactful as attackers may gain more views/clicks for financial benefits and widespread (mis)information. To this end, we pioneer the first attack against T2VR to promote videos adversarially, dubbed the Video Promotion attack (ViPro). We further propose Modal Refinement (MoRe) to capture the finer-grained, intricate interaction between visual and textual modalities to enhance black-box transferability. Comprehensive experiments cover 2 existing baselines, 3 leading T2VR models, 3 prevailing datasets with over 10k videos, evaluated under 3 scenarios. All experiments are conducted in a multi-target setting to reflect realistic scenarios where attackers seek to promote the video regarding multiple queries simultaneously. We also evaluated our attacks for defences and imperceptibility. Overall, ViPro surpasses other baselines by over 30/10/4% for white/grey/black-box settings on average. Our work highlights an overlooked vulnerability, provides a qualitative analysis on the upper/lower bound of our attacks, and offers insights into potential counterplays. Code will be publicly available at https://github.com/michaeltian108/ViPro.