PreScam: Ein Benchmark zur Vorhersage des Betrugsverlaufs aus frühen Gesprächen

Zusammenfassung

Gesprächsbetrug, wie Liebes- und Investitionsbetrug, entwickelt sich zu einer bedeutenden Form von Online-Betrug. Im Gegensatz zu einmaligen Betrugsködern wie gefälschten Lotterie- oder unbezahlten Mautnachrichten entfalten sie sich durch mehrere Gesprächsrunden, in denen Betrüger die Opfer mithilfe sich entwickelnder psychologischer Techniken allmählich manipulieren. Die bestehende Forschung konzentriert sich jedoch hauptsächlich auf die statische Betrugserkennung oder synthetische Betrugsfälle, sodass offen bleibt, ob Sprachmodelle verstehen können, wie reale Betrugsfälle im Laufe der Zeit fortschreiten. Wir stellen PreScam vor, einen Benchmark zur Modellierung des Betrugsverlaufs anhand früher Gespräche. PreScam basiert auf von Nutzern eingereichten Betrugsmeldungen und filtert und strukturiert 177.989 Rohmeldungen zu 11.573 Gesprächsbetrugsfällen aus 20 Betrugskategorien. Jeder Fall ist hierarchisch nach dem Betrugslebenszyklus aufgebaut, der durch die vorgeschlagene Betrugs-Kill-Chain definiert ist, und auf Gesprächsebene mit psychologischen Handlungen des Betrügers und Opferreaktionen annotiert. Wir benchmarken Modelle anhand zweier Aufgaben: der Echtzeit-Abschlussvorhersage, die schätzt, ob ein Gespräch sich der Abschlussphase nähert, und der Vorhersage der Betrügeraktionen, die die nächsten Handlungen des Betrügers prognostiziert. Die Ergebnisse zeigen eine deutliche Lücke zwischen oberflächlicher Sprachgewandtheit und Verlaufsmodellierung: überwachte Encoder übertreffen Zero-Shot-LLMs bei der Echtzeit-Abschlussvorhersage deutlich, während die Vorhersage der nächsten Aktion selbst für starke LLMs nur mäßig erfolgreich bleibt. Insgesamt zeigen diese Ergebnisse, dass aktuelle Modelle einige betrugsrelevante Hinweise erfassen können, jedoch immer noch Schwierigkeiten haben, nachzuvollziehen, wie das Risiko eskaliert und wie die Manipulation über Gesprächsrunden hinweg verläuft.

English

Conversational scams, such as romance and investment scams, are emerging as a major form of online fraud. Unlike one-shot scam lures such as fake lottery or unpaid toll messages, they unfold through multi-turn conversations in which scammers gradually manipulate victims using evolving psychological techniques. However, existing research mainly focuses on static scam detection or synthetic scams, leaving open whether language models can understand how real-world scams progress over time. We introduce PreScam, a benchmark for modeling scam progression from early conversations. Built from user-submitted scam reports, PreScam filters and structures 177,989 raw reports into 11,573 conversational scam instances spanning 20 scam categories. Each instance is hierarchically structured according to the scam lifecycle defined by the proposed scam kill chain, and further annotated at the turn level with scammer psychological actions and victim responses. We benchmark models on two tasks: real-time termination prediction, which estimates whether a conversation is approaching the termination stage, and scammer action prediction, which forecasts the scammer's subsequent actions. Results show a clear gap between surface-level fluency and progression modeling: supervised encoders substantially outperform zero-shot LLMs on real-time termination prediction, while next-action prediction remains only moderately successful even for strong LLMs. Taken together, these results show that current models can capture some scam-related cues, yet still struggle to track how risk escalates and how manipulation unfolds across turns.