Adversarische Videobewerbung gegen Text-zu-Video-Retrieval

Adversarial Video Promotion Against Text-to-Video Retrieval

August 9, 2025

papers.authors: Qiwei Tian, Chenhao Lin, Zhengyu Zhao, Qian Li, Shuai Liu, Chao Shen

cs.AI

papers.abstract

Dank der Entwicklung von Cross-Modal-Modellen schreitet die Text-zu-Video-Retrieval (T2VR) schnell voran, doch ihre Robustheit bleibt weitgehend unerforscht. Bestehende Angriffe auf T2VR sind darauf ausgelegt, Videos von Anfragen wegzuschieben, d.h., die Ränge von Videos zu unterdrücken, während Angriffe, die Videos zu ausgewählten Anfragen hinziehen, d.h., die Ränge von Videos zu fördern, weitgehend unerforscht bleiben. Diese Angriffe können weitreichender sein, da Angreifer dadurch mehr Aufrufe/Klicks für finanzielle Vorteile und die Verbreitung von (Fehl-)Informationen erzielen können. Zu diesem Zweck führen wir den ersten Angriff auf T2VR ein, um Videos auf adversarische Weise zu fördern, den wir als Video-Promotion-Angriff (ViPro) bezeichnen. Wir schlagen außerdem Modal Refinement (MoRe) vor, um die feineren, komplexen Interaktionen zwischen visuellen und textuellen Modalitäten zu erfassen und die Black-Box-Übertragbarkeit zu verbessern. Umfassende Experimente decken 2 bestehende Baselines, 3 führende T2VR-Modelle, 3 verbreitete Datensätze mit über 10.000 Videos ab, die unter 3 Szenarien evaluiert werden. Alle Experimente werden in einem Multi-Target-Setting durchgeführt, um realistische Szenarien widerzuspiegeln, in denen Angreifer versuchen, das Video in Bezug auf mehrere Anfragen gleichzeitig zu fördern. Wir haben unsere Angriffe auch auf Abwehrmechanismen und Unwahrnehmbarkeit hin evaluiert. Insgesamt übertrifft ViPro andere Baselines im Durchschnitt um über 30/10/4 % für White/Grey/Black-Box-Settings. Unsere Arbeit beleuchtet eine übersehene Schwachstelle, bietet eine qualitative Analyse der oberen/unteren Grenze unserer Angriffe und gibt Einblicke in potenzielle Gegenmaßnahmen. Der Code wird öffentlich unter https://github.com/michaeltian108/ViPro verfügbar sein.

English

Thanks to the development of cross-modal models, text-to-video retrieval (T2VR) is advancing rapidly, but its robustness remains largely unexamined. Existing attacks against T2VR are designed to push videos away from queries, i.e., suppressing the ranks of videos, while the attacks that pull videos towards selected queries, i.e., promoting the ranks of videos, remain largely unexplored. These attacks can be more impactful as attackers may gain more views/clicks for financial benefits and widespread (mis)information. To this end, we pioneer the first attack against T2VR to promote videos adversarially, dubbed the Video Promotion attack (ViPro). We further propose Modal Refinement (MoRe) to capture the finer-grained, intricate interaction between visual and textual modalities to enhance black-box transferability. Comprehensive experiments cover 2 existing baselines, 3 leading T2VR models, 3 prevailing datasets with over 10k videos, evaluated under 3 scenarios. All experiments are conducted in a multi-target setting to reflect realistic scenarios where attackers seek to promote the video regarding multiple queries simultaneously. We also evaluated our attacks for defences and imperceptibility. Overall, ViPro surpasses other baselines by over 30/10/4% for white/grey/black-box settings on average. Our work highlights an overlooked vulnerability, provides a qualitative analysis on the upper/lower bound of our attacks, and offers insights into potential counterplays. Code will be publicly available at https://github.com/michaeltian108/ViPro.