PreScam : un benchmark pour prédire la progression des escroqueries à partir des premières conversations

Résumé

Les escroqueries conversationnelles, telles que les arnaques sentimentales et les fraudes aux investissements, émergent comme une forme majeure de fraude en ligne. Contrairement aux leurres ponctuels comme les faux messages de loterie ou de péage impayé, elles se déroulent à travers des conversations à plusieurs tours au cours desquelles les escrocs manipulent progressivement leurs victimes en utilisant des techniques psychologiques évolutives. Cependant, les recherches existantes se concentrent principalement sur la détection statique des arnaques ou sur des arnaques synthétiques, laissant en suspens la question de savoir si les modèles de langage peuvent comprendre comment les arnaques réelles progressent au fil du temps. Nous présentons PreScam, un benchmark pour modéliser la progression des arnaques à partir des premières conversations. Construit à partir de signalements d'arnaques soumis par les utilisateurs, PreScam filtre et structure 177 989 signalements bruts en 11 573 instances d'escroqueries conversationnelles couvrant 20 catégories d'arnaques. Chaque instance est structurée hiérarchiquement selon le cycle de vie de l'arnaque défini par la chaîne d'attaque proposée, et annotée au niveau du tour avec les actions psychologiques de l'escroc et les réponses de la victime. Nous évaluons les modèles sur deux tâches : la prédiction de terminaison en temps réel, qui estime si une conversation approche de la phase de terminaison, et la prédiction des actions de l'escroc, qui prévoit ses actions ultérieures. Les résultats montrent un écart net entre la fluidité de surface et la modélisation de la progression : les encodeurs supervisés surpassent considérablement les LLM en zéro-shot pour la prédiction de terminaison en temps réel, tandis que la prédiction de l'action suivante reste seulement modérément réussie, même pour des LLM puissants. Pris ensemble, ces résultats montrent que les modèles actuels peuvent saisir certains indices liés aux arnaques, mais peinent encore à suivre l'escalade des risques et le déroulement de la manipulation à travers les tours de parole.

English

Conversational scams, such as romance and investment scams, are emerging as a major form of online fraud. Unlike one-shot scam lures such as fake lottery or unpaid toll messages, they unfold through multi-turn conversations in which scammers gradually manipulate victims using evolving psychological techniques. However, existing research mainly focuses on static scam detection or synthetic scams, leaving open whether language models can understand how real-world scams progress over time. We introduce PreScam, a benchmark for modeling scam progression from early conversations. Built from user-submitted scam reports, PreScam filters and structures 177,989 raw reports into 11,573 conversational scam instances spanning 20 scam categories. Each instance is hierarchically structured according to the scam lifecycle defined by the proposed scam kill chain, and further annotated at the turn level with scammer psychological actions and victim responses. We benchmark models on two tasks: real-time termination prediction, which estimates whether a conversation is approaching the termination stage, and scammer action prediction, which forecasts the scammer's subsequent actions. Results show a clear gap between surface-level fluency and progression modeling: supervised encoders substantially outperform zero-shot LLMs on real-time termination prediction, while next-action prediction remains only moderately successful even for strong LLMs. Taken together, these results show that current models can capture some scam-related cues, yet still struggle to track how risk escalates and how manipulation unfolds across turns.