PreScam: Бенчмарк для прогнозирования развития мошенничества на основе ранних диалогов

Аннотация

Разговорные мошенничества, такие как романтические и инвестиционные аферы, становятся крупной формой онлайн-мошенничества. В отличие от одноразовых приманок, как фальшивые лотереи или сообщения о неоплаченных дорожных сборах, они разворачиваются в ходе многократных диалогов, в которых мошенники постепенно манипулируют жертвами, используя развивающиеся психологические приемы. Однако существующие исследования в основном сосредоточены на статическом обнаружении мошенничества или синтетических схемах, оставляя открытым вопрос, могут ли языковые модели понимать, как реальные мошенничества развиваются со временем. Мы представляем PreScam — эталон для моделирования развития мошенничества на основе ранних разговоров. Созданный на основе сообщений пользователей о мошенничестве, PreScam фильтрует и структурирует 177 989 необработанных отчетов в 11 573 экземпляра разговорных мошенничеств, охватывающих 20 категорий. Каждый экземпляр иерархически структурирован в соответствии с жизненным циклом мошенничества, определяемым предложенной цепочкой убийств мошенничества, и дополнительно аннотирован на уровне реплик с указанием психологических действий мошенника и ответов жертвы. Мы оцениваем модели на двух задачах: прогнозирование завершения в реальном времени, которое оценивает, приближается ли разговор к стадии завершения, и прогнозирование действий мошенника, которое предсказывает последующие действия мошенника. Результаты показывают явный разрыв между поверхностной беглостью и моделированием развития: обученные с учителем кодировщики значительно превосходят zero-shot LLM в прогнозировании завершения в реальном времени, в то время как прогнозирование следующего действия остается лишь умеренно успешным даже для сильных LLM. В совокупности эти результаты показывают, что текущие модели могут улавливать некоторые сигналы, связанные с мошенничеством, но все еще испытывают трудности с отслеживанием того, как нарастает риск и как происходит манипуляция на протяжении реплик.

English

Conversational scams, such as romance and investment scams, are emerging as a major form of online fraud. Unlike one-shot scam lures such as fake lottery or unpaid toll messages, they unfold through multi-turn conversations in which scammers gradually manipulate victims using evolving psychological techniques. However, existing research mainly focuses on static scam detection or synthetic scams, leaving open whether language models can understand how real-world scams progress over time. We introduce PreScam, a benchmark for modeling scam progression from early conversations. Built from user-submitted scam reports, PreScam filters and structures 177,989 raw reports into 11,573 conversational scam instances spanning 20 scam categories. Each instance is hierarchically structured according to the scam lifecycle defined by the proposed scam kill chain, and further annotated at the turn level with scammer psychological actions and victim responses. We benchmark models on two tasks: real-time termination prediction, which estimates whether a conversation is approaching the termination stage, and scammer action prediction, which forecasts the scammer's subsequent actions. Results show a clear gap between surface-level fluency and progression modeling: supervised encoders substantially outperform zero-shot LLMs on real-time termination prediction, while next-action prediction remains only moderately successful even for strong LLMs. Taken together, these results show that current models can capture some scam-related cues, yet still struggle to track how risk escalates and how manipulation unfolds across turns.