PreScam: Een benchmark voor het voorspellen van oplichtingsprogressie op basis van vroege gesprekken

Samenvatting

Gespreksgebaseerde oplichting, zoals romance- en investeringsfraude, komt steeds meer naar voren als een belangrijke vorm van online fraude. In tegenstelling tot eenmalige lokmiddelen zoals neploterijen of onbetaalde tolmeldingen, ontvouwen deze vormen van oplichting zich via meerstapsgesprekken waarin oplichters slachtoffers geleidelijk manipuleren met behulp van evoluerende psychologische technieken. Bestaand onderzoek richt zich echter voornamelijk op statische opsporing van fraude of synthetische oplichting, waardoor de vraag open blijft of taalmodellen kunnen begrijpen hoe echte oplichting zich in de loop van de tijd ontwikkelt. Wij introduceren PreScam, een benchmark voor het modelleren van de progressie van oplichting vanaf vroege gesprekken. Opgebouwd uit door gebruikers ingediende frauderapporten, filtert en structureert PreScam 177.989 ruwe rapporten tot 11.573 voorbeelden van gespreksgebaseerde oplichting, verdeeld over 20 fraudecategorieën. Elk voorbeeld is hiërarchisch gestructureerd volgens de levenscyclus van oplichting zoals gedefinieerd door de voorgestelde scam kill chain, en verder geannoteerd op gespreksniveau met psychologische handelingen van de oplichter en reacties van het slachtoffer. We benchmarken modellen op twee taken: realtime voorspelling van beëindiging, die schat of een gesprek het beëindigingsstadium nadert, en voorspelling van acties van de oplichter, die de volgende acties van de oplichter voorspelt. Resultaten tonen een duidelijke kloof aan tussen oppervlakkige vloeiendheid en modellering van progressie: gesuperviseerde encoders presteren aanzienlijk beter dan zero-shot LLM's bij realtime voorspelling van beëindiging, terwijl voorspelling van de volgende actie slechts matig succesvol blijft, zelfs voor sterke LLM's. Alles bij elkaar genomen laten deze resultaten zien dat huidige modellen enkele fraudegerelateerde aanwijzingen kunnen oppikken, maar nog steeds moeite hebben om bij te houden hoe risico escaleert en hoe manipulatie zich over gespreksbeurten heen ontvouwt.

English

Conversational scams, such as romance and investment scams, are emerging as a major form of online fraud. Unlike one-shot scam lures such as fake lottery or unpaid toll messages, they unfold through multi-turn conversations in which scammers gradually manipulate victims using evolving psychological techniques. However, existing research mainly focuses on static scam detection or synthetic scams, leaving open whether language models can understand how real-world scams progress over time. We introduce PreScam, a benchmark for modeling scam progression from early conversations. Built from user-submitted scam reports, PreScam filters and structures 177,989 raw reports into 11,573 conversational scam instances spanning 20 scam categories. Each instance is hierarchically structured according to the scam lifecycle defined by the proposed scam kill chain, and further annotated at the turn level with scammer psychological actions and victim responses. We benchmark models on two tasks: real-time termination prediction, which estimates whether a conversation is approaching the termination stage, and scammer action prediction, which forecasts the scammer's subsequent actions. Results show a clear gap between surface-level fluency and progression modeling: supervised encoders substantially outperform zero-shot LLMs on real-time termination prediction, while next-action prediction remains only moderately successful even for strong LLMs. Taken together, these results show that current models can capture some scam-related cues, yet still struggle to track how risk escalates and how manipulation unfolds across turns.