¿Bot o humano? Detección de impostores de ChatGPT con una sola pregunta

Bot or Human? Detecting ChatGPT Imposters with A Single Question

May 10, 2023

Autores: Hong Wang, Xuan Luo, Weizhi Wang, Xifeng Yan

cs.AI

Resumen

Los grandes modelos de lenguaje como ChatGPT han demostrado recientemente capacidades impresionantes en la comprensión y generación de lenguaje natural, permitiendo diversas aplicaciones como traducción, redacción de ensayos y conversaciones informales. Sin embargo, existe la preocupación de que puedan ser mal utilizados con fines maliciosos, como fraudes o ataques de denegación de servicio. Por lo tanto, es crucial desarrollar métodos para detectar si la parte involucrada en una conversación es un bot o un humano. En este artículo, proponemos un marco denominado FLAIR (Finding Large language model Authenticity via a single Inquiry and Response) para detectar bots conversacionales de manera en línea. Específicamente, nos enfocamos en un escenario de una sola pregunta que pueda diferenciar efectivamente a los usuarios humanos de los bots. Las preguntas se dividen en dos categorías: aquellas que son fáciles para los humanos pero difíciles para los bots (por ejemplo, conteo, sustitución, posicionamiento, filtrado de ruido y arte ASCII), y aquellas que son fáciles para los bots pero difíciles para los humanos (por ejemplo, memorización y cálculo). Nuestro enfoque muestra diferentes fortalezas de estas preguntas en su efectividad, proporcionando una nueva forma para que los proveedores de servicios en línea se protejan contra actividades nefastas y aseguren que están sirviendo a usuarios reales. Hemos puesto a disposición nuestro conjunto de datos en https://github.com/hongwang600/FLAIR y damos la bienvenida a contribuciones de la comunidad para enriquecer dichos conjuntos de datos de detección.

English

Large language models like ChatGPT have recently demonstrated impressive capabilities in natural language understanding and generation, enabling various applications including translation, essay writing, and chit-chatting. However, there is a concern that they can be misused for malicious purposes, such as fraud or denial-of-service attacks. Therefore, it is crucial to develop methods for detecting whether the party involved in a conversation is a bot or a human. In this paper, we propose a framework named FLAIR, Finding Large language model Authenticity via a single Inquiry and Response, to detect conversational bots in an online manner. Specifically, we target a single question scenario that can effectively differentiate human users from bots. The questions are divided into two categories: those that are easy for humans but difficult for bots (e.g., counting, substitution, positioning, noise filtering, and ASCII art), and those that are easy for bots but difficult for humans (e.g., memorization and computation). Our approach shows different strengths of these questions in their effectiveness, providing a new way for online service providers to protect themselves against nefarious activities and ensure that they are serving real users. We open-sourced our dataset on https://github.com/hongwang600/FLAIR and welcome contributions from the community to enrich such detection datasets.