Test di Realtà Video: I Video ASMR Generati dall'IA Possono Ingannare i Modelli Linguistici Visivi e gli Esseri Umani?
Video Reality Test: Can AI-Generated ASMR Videos fool VLMs and Humans?
December 15, 2025
Autori: Jiaqi Wang, Weijia Wu, Yi Zhan, Rui Zhao, Ming Hu, James Cheng, Wei Liu, Philip Torr, Kevin Qinghong Lin
cs.AI
Abstract
I recenti progressi nella generazione video hanno prodotto contenuti vivaci spesso indistinguibili da video reali, rendendo il rilevamento di video generati dall'IA un'emergente sfida sociale. I precedenti benchmark di rilevamento AIGC valutano principalmente video senza audio, si concentrano su domini narrativi ampi e si limitano alla classificazione. Resta tuttavia poco chiaro se i modelli all'avanguardia di generazione video possano produrre video immersivi con audio in grado di ingannare in modo affidabile esseri umani e VLM. A tal fine, presentiamo Video Reality Test, una suite di benchmark video basata su contenuti ASMR per testare il realismo percettivo in condizioni di stretta integrazione audiovisiva, caratterizzata dalle seguenti dimensioni: (i) Fonti video-audio ASMR immersive. Basato su video ASMR reali accuratamente selezionati, il benchmark si concentra su interazioni azione-oggetto granulari con diversità di oggetti, azioni e sfondi. (ii) Valutazione tra pari. Un protocollo creatore-revisore adversarial in cui i modelli di generazione video agiscono come creatori che mirano a ingannare i revisori, mentre i VLM fungono da revisori che cercano di identificare la falsità. I nostri risultati sperimentali mostrano: Il miglior creatore, Veo3.1-Fast, inganna persino la maggior parte dei VLM: il revisore più forte (Gemini 2.5-Pro) raggiunge solo un'accuratezza del 56% (casuale 50%), ben al di sotto di quella degli esperti umani (81,25%). L'aggiunta dell'audio migliora la discriminazione reale-falso, ma indizi superficiali come filigrane possono comunque fuorviare significativamente i modelli. Questi risultati delineano l'attuale confine del realismo nella generazione video ed espongono le limitazioni dei VLM nella fedeltà percettiva e nella coerenza audiovisiva. Il nostro codice è disponibile all'indirizzo https://github.com/video-reality-test/video-reality-test.
English
Recent advances in video generation have produced vivid content that are often indistinguishable from real videos, making AI-generated video detection an emerging societal challenge. Prior AIGC detection benchmarks mostly evaluate video without audio, target broad narrative domains, and focus on classification solely. Yet it remains unclear whether state-of-the-art video generation models can produce immersive, audio-paired videos that reliably deceive humans and VLMs. To this end, we introduce Video Reality Test, an ASMR-sourced video benchmark suite for testing perceptual realism under tight audio-visual coupling, featuring the following dimensions: (i) Immersive ASMR video-audio sources. Built on carefully curated real ASMR videos, the benchmark targets fine-grained action-object interactions with diversity across objects, actions, and backgrounds. (ii) Peer-Review evaluation. An adversarial creator-reviewer protocol where video generation models act as creators aiming to fool reviewers, while VLMs serve as reviewers seeking to identify fakeness. Our experimental findings show: The best creator Veo3.1-Fast even fools most VLMs: the strongest reviewer (Gemini 2.5-Pro) achieves only 56\% accuracy (random 50\%), far below that of human experts (81.25\%). Adding audio improves real-fake discrimination, yet superficial cues such as watermarks can still significantly mislead models. These findings delineate the current boundary of video generation realism and expose limitations of VLMs in perceptual fidelity and audio-visual consistency. Our code is available at https://github.com/video-reality-test/video-reality-test.