PreScam: Um Benchmark para Prever a Progressão de Golpes a Partir de Conversas Iniciais

Resumo

Golpes conversacionais, como golpes românticos e de investimento, estão emergindo como uma forma importante de fraude online. Diferentemente de iscas de golpe únicas, como mensagens de loteria falsa ou pedágio não pago, eles se desenrolam por meio de conversas de múltiplas rodadas, nas quais os golpistas manipulam gradualmente as vítimas usando técnicas psicológicas em evolução. No entanto, a pesquisa existente concentra-se principalmente na detecção estática de golpes ou em golpes sintéticos, deixando em aberto se os modelos de linguagem conseguem entender como os golpes do mundo real progridem ao longo do tempo. Apresentamos o PreScam, um benchmark para modelagem da progressão de golpes a partir de conversas iniciais. Construído a partir de relatos de golpes submetidos por usuários, o PreScam filtra e estrutura 177.989 relatos brutos em 11.573 instâncias de golpes conversacionais abrangendo 20 categorias de golpes. Cada instância é estruturada hierarquicamente de acordo com o ciclo de vida do golpe definido pela cadeia de progressão do golpe proposta (scam kill chain), e ainda anotada no nível da rodada com ações psicológicas do golpista e respostas da vítima. Avaliamos modelos em duas tarefas: previsão de término em tempo real, que estima se uma conversa está se aproximando do estágio de término, e previsão de ação do golpista, que prevê as ações subsequentes do golpista. Os resultados mostram uma lacuna clara entre fluência superficial e modelagem de progressão: codificadores supervisionados superam substancialmente os LLMs zero-shot na previsão de término em tempo real, enquanto a previsão da próxima ação permanece apenas moderadamente bem-sucedida, mesmo para LLMs fortes. Em conjunto, esses resultados mostram que os modelos atuais conseguem capturar algumas pistas relacionadas a golpes, mas ainda têm dificuldade em rastrear como o risco aumenta e como a manipulação se desenrola ao longo das rodadas.

English

Conversational scams, such as romance and investment scams, are emerging as a major form of online fraud. Unlike one-shot scam lures such as fake lottery or unpaid toll messages, they unfold through multi-turn conversations in which scammers gradually manipulate victims using evolving psychological techniques. However, existing research mainly focuses on static scam detection or synthetic scams, leaving open whether language models can understand how real-world scams progress over time. We introduce PreScam, a benchmark for modeling scam progression from early conversations. Built from user-submitted scam reports, PreScam filters and structures 177,989 raw reports into 11,573 conversational scam instances spanning 20 scam categories. Each instance is hierarchically structured according to the scam lifecycle defined by the proposed scam kill chain, and further annotated at the turn level with scammer psychological actions and victim responses. We benchmark models on two tasks: real-time termination prediction, which estimates whether a conversation is approaching the termination stage, and scammer action prediction, which forecasts the scammer's subsequent actions. Results show a clear gap between surface-level fluency and progression modeling: supervised encoders substantially outperform zero-shot LLMs on real-time termination prediction, while next-action prediction remains only moderately successful even for strong LLMs. Taken together, these results show that current models can capture some scam-related cues, yet still struggle to track how risk escalates and how manipulation unfolds across turns.