Bot oder Mensch? Erkennung von ChatGPT-Impostern mit einer einzigen Frage

Bot or Human? Detecting ChatGPT Imposters with A Single Question

May 10, 2023

Autoren: Hong Wang, Xuan Luo, Weizhi Wang, Xifeng Yan

cs.AI

Zusammenfassung

Große Sprachmodelle wie ChatGPT haben in letzter Zeit beeindruckende Fähigkeiten im Bereich des natürlichen Sprachverständnisses und der Sprachgenerierung gezeigt, was verschiedene Anwendungen wie Übersetzung, Aufsatzschreiben und Plaudern ermöglicht. Es besteht jedoch die Sorge, dass sie für bösartige Zwecke missbraucht werden könnten, wie beispielsweise Betrug oder Denial-of-Service-Angriffe. Daher ist es entscheidend, Methoden zu entwickeln, um festzustellen, ob die an einer Konversation beteiligte Partei ein Bot oder ein Mensch ist. In diesem Artikel schlagen wir ein Framework namens FLAIR (Finding Large language model Authenticity via a single Inquiry and Response) vor, um Konversations-Bots in Echtzeit zu erkennen. Insbesondere zielen wir auf ein Szenario mit einer einzigen Frage ab, die effektiv menschliche Benutzer von Bots unterscheiden kann. Die Fragen werden in zwei Kategorien unterteilt: solche, die für Menschen einfach, aber für Bots schwierig sind (z. B. Zählen, Substitution, Positionierung, Rauschfilterung und ASCII-Kunst), und solche, die für Bots einfach, aber für Menschen schwierig sind (z. B. Auswendiglernen und Berechnungen). Unser Ansatz zeigt unterschiedliche Stärken dieser Fragen in ihrer Wirksamkeit und bietet Online-Dienstanbietern eine neue Möglichkeit, sich vor bösartigen Aktivitäten zu schützen und sicherzustellen, dass sie echte Benutzer bedienen. Wir haben unseren Datensatz auf https://github.com/hongwang600/FLAIR quelloffen zur Verfügung gestellt und begrüßen Beiträge aus der Community, um solche Erkennungsdatensätze zu bereichern.

English

Large language models like ChatGPT have recently demonstrated impressive capabilities in natural language understanding and generation, enabling various applications including translation, essay writing, and chit-chatting. However, there is a concern that they can be misused for malicious purposes, such as fraud or denial-of-service attacks. Therefore, it is crucial to develop methods for detecting whether the party involved in a conversation is a bot or a human. In this paper, we propose a framework named FLAIR, Finding Large language model Authenticity via a single Inquiry and Response, to detect conversational bots in an online manner. Specifically, we target a single question scenario that can effectively differentiate human users from bots. The questions are divided into two categories: those that are easy for humans but difficult for bots (e.g., counting, substitution, positioning, noise filtering, and ASCII art), and those that are easy for bots but difficult for humans (e.g., memorization and computation). Our approach shows different strengths of these questions in their effectiveness, providing a new way for online service providers to protect themselves against nefarious activities and ensure that they are serving real users. We open-sourced our dataset on https://github.com/hongwang600/FLAIR and welcome contributions from the community to enrich such detection datasets.