Bot of Mens? ChatGPT-Imposters Detecteren met één Vraag

Bot or Human? Detecting ChatGPT Imposters with A Single Question

May 10, 2023

Auteurs: Hong Wang, Xuan Luo, Weizhi Wang, Xifeng Yan

cs.AI

Samenvatting

Grote taalmodellen zoals ChatGPT hebben recent indrukwekkende capaciteiten getoond op het gebied van natuurlijke taalverwerking en -generatie, wat verschillende toepassingen mogelijk maakt, waaronder vertaling, essay schrijven en informeel gesprek. Er is echter een zorg dat ze misbruikt kunnen worden voor kwaadaardige doeleinden, zoals fraude of denial-of-service-aanvallen. Daarom is het cruciaal om methoden te ontwikkelen om te detecteren of de partij die betrokken is bij een gesprek een bot of een mens is. In dit artikel stellen we een raamwerk voor genaamd FLAIR, Finding Large language model Authenticity via a single Inquiry and Response, om conversatiebots op een online manier te detecteren. Specifiek richten we ons op een scenario met één vraag dat effectief menselijke gebruikers van bots kan onderscheiden. De vragen zijn verdeeld in twee categorieën: vragen die gemakkelijk zijn voor mensen maar moeilijk voor bots (bijvoorbeeld tellen, substitutie, positionering, ruisfiltering en ASCII-kunst), en vragen die gemakkelijk zijn voor bots maar moeilijk voor mensen (bijvoorbeeld memorisatie en berekening). Onze aanpak toont verschillende sterke punten van deze vragen in hun effectiviteit, wat een nieuwe manier biedt voor online dienstverleners om zichzelf te beschermen tegen schadelijke activiteiten en ervoor te zorgen dat ze echte gebruikers bedienen. We hebben onze dataset openbaar gemaakt op https://github.com/hongwang600/FLAIR en verwelkomen bijdragen van de gemeenschap om dergelijke detectiedatasets te verrijken.

English

Large language models like ChatGPT have recently demonstrated impressive capabilities in natural language understanding and generation, enabling various applications including translation, essay writing, and chit-chatting. However, there is a concern that they can be misused for malicious purposes, such as fraud or denial-of-service attacks. Therefore, it is crucial to develop methods for detecting whether the party involved in a conversation is a bot or a human. In this paper, we propose a framework named FLAIR, Finding Large language model Authenticity via a single Inquiry and Response, to detect conversational bots in an online manner. Specifically, we target a single question scenario that can effectively differentiate human users from bots. The questions are divided into two categories: those that are easy for humans but difficult for bots (e.g., counting, substitution, positioning, noise filtering, and ASCII art), and those that are easy for bots but difficult for humans (e.g., memorization and computation). Our approach shows different strengths of these questions in their effectiveness, providing a new way for online service providers to protect themselves against nefarious activities and ensure that they are serving real users. We open-sourced our dataset on https://github.com/hongwang600/FLAIR and welcome contributions from the community to enrich such detection datasets.